Комментарии по теме

«По­дклю­че­ние новых типов объектов, доступных для тра­нза­кции MASS – массового изменения данных в SAP ERP»
Олег Точенюк:
Стандартные полномочия на объекты при вызове BAPI проверяются и как и положено согласно заданным у пользователя ролям, так что пользователь изменить к примеру данные карточек ОС, если у него есть...
«По­дго­то­ви­те­льные настройки для обе­спе­че­ния со­о­тве­тствия учёта основных средств в SAP ERP тре­бо­ва­ни­ям МСФО»
Татьяна Шевченко:
Мне кажется, уместной будет небольшая демонстрация работы данного решения. В целом различий при первоначальном признании активов по стандартам US GAAP и МСФО не так уж и много. По обоим...
«Цикл первый. «Це­ле­со­о­бра­зно­е» внедрение ERP системы. Статья первая. «Новый подход»»
Александр Дублин:
1. Увы, Вы поняли нас неправильно. ТОС - это не "развитие тем", а теория (методология), которая даёт инструменты для анализа ситуаций (проблем бизнеса), в том числе таких: -  Почему...

База знаний

Вы можете подписаться на эту колонки этого автора, если авторизируетесь или зарегистрируетесь

Архитектура взаимодействия SAP HANA с Hadoop

23 февраля 2014, 21:29

Архитектура взаимодействия HANA с Hadoop поддерживает традиционные для любого хранилища данных процессы, такие, как хранение данных, процедуры обмена и управления данными.

Так, SAP Data Services предоставляет полноценный набор средств интеграции данных, позволяющих реализовывать следующие задачи:

• получать доступ к данным любых типов – структурированным, частично структурированным и неструктурированным;

• загружать данные в любые целевые сегменты: Hadoop, хранилище данных или базу данных в памяти;

• перемещаться по источникам данных, расположенным на внутреннем ресурсе или в облаке;

• работать в пакетном режиме или в реальном времени.

SAP Data Services предоставляет собой средство разработки для моделирования данных и рабочих пространств. С помощью этих средств разработчики средств извлечения, преобразования и загрузки данных могут создавать и устанавливать последовательность шагов, необходимых для создания соответствующих функций. Средства SAP Data Services позволяют извлекать, загружать, разбирать, интегрировать, очищать и согласовывать данные в Hadoop. Программный код для модели MapReduce, выполняющий эти действия, генерируется автоматически.

Средства SAP Data Services интегрируются с Hadoop тремя основными способами:

• Таблицы базы данных Hive: продукты технологии SAP Data Services генерируют и выполняют инструкции HiveQI для запроса, выборки и загрузки данных в таблицы Hive.

• Распределенная файловая система Hadoop (HDFS) – средства технологии SAP Data Services могут работать с файлами операционной системы Linux самостоятельно или же с помощью сценариев Pig.

• Преобразование обработки текстовых данных – задания с источниками данных в файловой системе HDFS и алгоритмом преобразования текста выталкиваются на платформу Hadoop средствами SAP Data Services с помощью сценариев Pig. Анализ текста выполняется непосредственно в HDFS как задания модели MapReduce. Среди этих данных могут быть результаты анализа веб-журналов, опросов, поля содержимого, данные интернет-порталов и географических информационных систем.

SAP IQ поддерживает федеративные запросы для доступа к Hadoop. Эта поддержка включает:

• Федерации данных, в которых структуры файлов в файловой системе HDFS определены в SAP IQ и используются ею как собственные внешние таблицы;

• Федерации запросов, в которых запросы раздельно выполняются c помощью сценариев Hive на платформе Hadoop, а полученные результаты объединяются с результатами запросов, выполненных обычным образом в SAP IQ.

При федерации данные копируются из Hadoop в базу SAP Sybase IQ и анализ выполняется уже там. Соответственно при больших объемах данных этот процесс занимает больше времени, чем федерация запросов, которая возвращает результаты каждого отдельно выполненного запроса.

В качестве источников данных для Hadoop могут выступать приложения SAP, потоки событий, справочные и архивные данные.

Данные приложений SAP, например, SAP Business Suite, эффективнее всего отправлять неявно, с помощью репликации данных. Для этого необходимо разместить в базе SAP HANA, SAP IQ или в хранилище данных с помощью ПО SAP Replication Server. Затем с помощью SAP Data Cervice эти данные необходимо загрузить в Hadoop. Для потоков событий характерен большой объем и высокая скорость. Для их обработки требуется сложный обработчик событий, такой как SAP Event Stream Processor (SAP ESP). Этот инструмент позволяет захватывать события, проводя анализ в реальном времени и отправляя результаты в базу данных. Затем база данных, например, SAP HANA, использует эти результаты для анализа и составления отчетов.

Обработчики событий не имеют возможности длительное время хранить необработанные события, и в это отношении средства Hadoop помогают получать выходные данные из SAP Sybase ESP и необходимые объемы необработанных событий для последующего анализа. Если анализ необработанных событий в реальном времени не требуется, их можно сохранить Hadoop с помощью, например, средств SAP Data Services.

Компоненты, реализующие бизнес-аналитику и анализ данных, , объединены в две основные области: среду моделирования аналитики и средства для бизнес-аналитики, используемые во время работы.

Среда моделирования аналитики дает возможность строить модели данных, которыми инструменты бизнес-аналитики могут пользоваться для ответа на запросы. На семантическом уровне есть средства разработки моделей (семантический срез данных) на данных в базах SAP HANA, SAP Sybase IQ и отличных от SAP источниках данных, включая базу Hive на платформе Hadoop.

Семантические срезы могут использоваться технически неподготовленными пользователями, работающими с инструментами бизнес-аналитики, например, SAP Crystal Reports, SAP BusinessObjects Web Intelligence, SAP BusinessObjects Dashboards и SAP BusinessObjects Explorer.

Для построения приложений в Hadoop требуется, прежде всего, разработать и развернуть задания модели MapReduce, а затем выполнить их на платформе Hadoop.

При этом сгенерированный результат может быть размещен в другой базе данных, например, в SAP HANA. Задания MapReduce написаны на языке Java, однако для использования доступны и другие технологии, в том числе языки Hive, Pig и Mahout. Логика приложения может быть автоматически сгенерирована с помощью таких технологий, как SAP Data Services, которая позволяет создавать сценарии Pig и извлекать данные из базы Hadoop с помощью средств Hive и Sqoop.

Таким образом, указанная архитектура описывает вариант интеграции Hadoop с решениями SAP, в рамках которого Hadoop и каждая из технологий SAP выступают автономными системами. Инфраструктурная архитектура на основе системы SAP HANA позволяет объединять платформу Hadoop с базой SAP IQ и другими технологиями SAP.

Комментарии:

Павел Сидоров (Рейтинг: 62) 21:06, 14 марта 2014

К сожалению, картинка не кликабельна, а при имеющемся размере невозможно ничего на ней прочитать.
21:29, 31 марта 2014

Вадим Табаков (Рейтинг: 1658)

Павел, добавил картинку в более читабельном разрешении.