УДК 004.41 А.И. Фролов, Е.В. Новикова A.I. Frolov, E.V. Novikova

УДК 004.41
А.И. Фролов, Е.В. Новикова
A.I. Frolov, E.V. Novikova
ОБ ОРГАНИЗАЦИИ ПРОЦЕССА ЭКСПОРТА ДАННЫХ СИСТЕМЫ
АДМИНИСТРАТИВНОГО МОНИТОРИНГА В BI-СИСТЕМЫ
ABOUT THE ORGANIZATION OF EXPORT DATA OF ADMINISTRATION
MONITORING SYSTEM IN BI-SYSTEMS
В данной статье рассматриваются требования к информационному и алгоритмическому
обеспечению подсистемы экспорта данных из системы административного мониторинга в BI-системы. В
качестве основы для создания подсистемы экспорта рассматривается ETL-технология, первые две функции
которой легко реализовать на стороне системы административного мониторинга для возможности
экспорта данных из системы. Рассмотрены требования к этапам извлечения и преобразования данных, а
также полный процесс экспорта данных из системы. Сформулированы и обоснованы рекомендации
относительно реализации средств экспорта данных.
Ключевые слова: BI-системы, административный мониторинг, извлечение, преобразование, загрузка
данных
This article discusses the requirements for information and algorithmic support subsystems exporting data
from the system of administrative monitoring BI-system. As a basis for the creation of a subsystem of exports, which
uses ETL-technology, the first two functions are easy to implement on the side of the system for administrative
monitoring capabilities to export data from the system. The steps of extraction and transformation of data, as well as
the complete process to export data from the system, are formulated and substantiated recommendations for the
subsystem of export of data.
The key words are: BI-systems, administrative monitoring, extraction, transformation, loading of data
Введение
В настоящее время в практике автоматизации процессов больших предприятий
широкое распространение получили BI-системы (Business Intelligence – бизнес аналитика) –
аналитические системы, которые объединяют данные из различных источников информации,
обрабатывают их и хранят структурированные данные в хранилищах данных, а также
предоставляют удобный интерфейс для всестороннего изучения полученных сведений и
оценки полученных сведений. Информация, полученная в результате такого анализа,
помогает достигать поставленных бизнес целей благодаря оптимальному использованию
имеющихся данных. Комплексный анализ данных по всем направлениям деятельности
предприятия позволяет повысить его эффективность и снизить издержки.
Также в практике управления крупными предприятиями в условиях изменения
требований к процедурам мониторинга актуально применение эффективных средств сбора и
хранения первичных данных, характеризующих состояние предприятия и его процессов [1].
Одним из таких средств является адаптивная распределенная система административного
мониторинга, предназначенная для оперативного распределенного сбора информации и
формирования выходных детальных и сводных отчетов с целью оценки состояния объекта
управления и принятия управленческих решений. Простейших анализ получаемых данных
возможен средствами самой системы административного мониторинга. В случае же
потребности в более сложном анализе возникает задача передачи собранных системой
мониторинга данных в имеющуюся на предприятии BI-систему. В этой связи становится
актуальным вопрос интеграции между адаптивной распределенной системой мониторинга и
BI-системами.
В ходе исследований, проведенных в Госуниверситете-УНПК, была выявлена
возможность интеграции системы административного мониторинга как источника данных с
BI-системам [2]. Для этого необходимо реализовать первые две ETL функции на стороне
системы мониторинга, а функции загрузки – на стороне BI-системы.
На основании этого представляется возможным разработать требования к
информационному и алгоритмическому обеспечению процесса экспорта данных
административного мониторинга в BI-системы.
Требования к информационному обеспечению процесса экспорта данных
административного мониторинга в BI-системы.
Для интеграции двух систем было решено использовать ETL-технологию. ETLтехнология (ETL – Extract, Transform, Load – дословно «извлечение, преобразование,
загрузка») определяет процесс формирования данных, их трансформации (преобразования) и
загрузки в хранилище (рисунок 1).
Рисунок 1 – ETL-процесс
Реализация первых двух функции этого процесса будет проведена в системе
мониторинга. Данные функции будут возложены подсистему экспорта данных.
Первой функцией ETL-процесса является извлечение данных из источника и загрузка
их в промежуточную область для дальнейшего преобразования. В ETL-технологии при
извлечении данных под каждый источник в промежуточной области создается своя таблица с
префиксом “sttm”. Таблица с префиксом “sttm” промежуточной области должна иметь
такую же структуру данных, как и источник, из которого эти данные будут выгружены [3].
Поэтому вначале рассмотрим структуру хранения данных, используемую в системе
административного мониторинга.
Основными информационными объектами (абстракциями) модели структуры
хранения являются следующие множества: Vt – множество типов, Р – множество показателей
(при этом множество всевозможных наборов показателей – 2Р = {ХР | ХР  Р}), Vo –
множество экземпляров объектов учета.
Элементы приведенных выше множеств вступают в отношения ассоциации и
агрегации. Описание соответствующих отношений приведено ниже.
1. Отношение агрегации типов объектов учета Et представляется множеством
родительских связей типов, являющимся подмножеством декартова произведения Vt ×Vt:
Et = {(ti, tj) | (ti Vt ) & (tj Vt)}.
Элемент данного множества et представляет собой упорядоченную пару типов
«родитель (ti) – потомок (tj)» соответственно.
2. Отношение ассоциации объектов учета и типов объектов учета Eto представляется
следующим множеством:
Eto = {(t, o) | t  Vt & o  Vo}.
Элемент данного множества eto представляет факт принадлежности объекта учета о
типу объектов учета t.
3. Отношение ассоциации показателей и типов объектов учета Rtp представляется
подмножеством декартова произведения множеств 2Р и Vt:
Rtp = {(ХР, t) | ХР  Р & t  Vt}.
Элемент данного множества rtp представляет факт наличия у каждого из объектов
учета типа t множества показателей XP.
4. Отношение агрегации объектов учета Eo представляется множеством попарных
связей объектов учета «родитель (oi) – потомок (oj)». Возможность существования такого
отношения определяется связями соответствующих объектам учета типов ti и tj. Таким
образом, получаем множество связей объектов учета:
Eo = {(oi, oj) |  etoi = (oi, ti), etoj = (oj, tj), et = (ti, tj)}.
5. Отношение ассоциации типизированных объектов учета и наборов показателей Rpo
представляется композицией определенных выше множеств Eto и Rtp:
Rpo = Eto○Rtp = {(o, ХР) | o  Vo & ХР  Р &  t  Vt, eto = (t, o) & rtp = (ХР, t)}.
Основываясь на анализе модели структуры хранения данных системы мониторинга
определим требования к содержанию запроса и ответа, которые будут использоваться в
процедуре извлечения данных [4]. Запрос должен содержать следующие данные:
 тип объекта учета;
 период, за который необходимо выбрать данные.
Ответ представляет собой набор данных, относящихся к объектам учета заданного в
запросе типа за указанный период. Ответ должен содержать следующие данные:
 идентификаторы экземпляров объекта учета
 названия показателей
 типы показателей
 значения показателей
 единицы измерения показателей
 даты начала мониторинга
 длительности периодов
 единицы измерения периодов
 номера периодов
После получения ответа подсистемы экспорта в промежуточном слое создается
таблица (“sttm_export”), структура которой полностью повторяет структуру файла ответа.
Данные, полученные в результате ответа на запрос, будут помещены в данную таблицу.
Информация в данной таблице является избыточной. Избыточность обусловлена
сведением сетевой структуры данных к плоской таблице и будет устраняться на следующем
этапе ETL-процесса. Здесь же необходимо отметить, что вследствие большого объема
промежуточной таблицы “sttm_export”, возрастает важность требования к таблицам
промежуточной области – их обязательное удаление после использования.
Второй этап заключается в преобразовании данных, используемых в промежуточной
области. В ETL-технологии в процессе преобразования данных выделяют следующие задачи:
 преобразование структуры данных;
 агрегирование данных;
 перевод значений;
 создание новых данных;
 очистка данных.
В таблице, полученной на этапе извлечения данных, будет содержаться много
избыточной и частично структурированной информации. Поэтому на втором этапе должны
быть реализована функция преобразования структуры данных. Также, необходимо будет
использовать этап перевода значений. Это обусловлено тем, что данные, выгруженные в
промежуточные таблицы, будут иметь строковый тип данных, что не приемлемо для
проведения анализа на стороне BI-системы.
До начала этапа преобразования данных необходимо создать таблицы объектов учета,
показателей и значений показателей: “stin_export_ou”,“stin_export_p”,“stin_export_zn”, куда
будут в дальнейшем помещены преобразованные данные. Процесс преобразования данных
начинается с запросов выборки из таблицы sttm_export.
В результате первого запроса из таблицы sttm_export будут извлечены
идентификаторы и названия объектов учета. Ответ на запрос будет помещен в созданную
таблицу “stin_export_ou” .
В результате второго запроса из таблицы sttm_export по экземпляру объекта учета
будут извлечены следующие данные:
 название показателя
 тип показателя
 единица измерения показателя
 единица измерения периода
 длительность периода
 дата начала мониторинга
Ответ на запрос будет помещен в созданную таблицу “stin_export_p” .
В результате третьего запроса из таблицы sttm_export по экземпляру объекта учета
будут извлечены следующие данные:
 значение показателя
 номер периода
Ответ на запрос будет помещен в созданную таблицу “stin_export_zn” .
Структура таблиц: “stin_export_ou”,“stin_export_p”,“stin_export_zn” представлена на
рисунке 2.
Рисунок 2- Структура таблиц этапа преобразования данных
Для выгрузки данных будем использовать XML-файл, в связи с тем что данный
формат поддерживается всеми BI-системами. Все таблицы, полученные после
преобразования данных выгружаются в экспортируемый XML-файл, после чего все
таблицы необходимо удалить.
Экспортируемый XML-файл будет иметь следующую структуру (рисунок 3).
Рисунок 3- Структура экспортируемого XML-файла
Рассмотрим поэтапно процесс экспорта данных из адаптивной распределенной
системы мониторинга в BI-системы (рисунок 4).
Рисунок 4- Процесс экспорта данных
Первый этап. Сначала путем запроса из ядра базы данных системы
административного мониторинга извлекаются необходимые данные, после чего создается
таблица в промежуточной области и ответ на данный запрос будет помещен в таблицу
“sttm_export”. После чего происходит преобразование структуры данных полученных на
первом этапе
Второй этап. Создаются таблицы “stin_export_ou”,“stin_export_p” ,“stin_export_zn”.
Путем запросов к таблице “sttm_export” извлекаются данные. Данные будут подвергнуты
структурированию по экземпляру объекта учета, а также будет осуществлен перевод
значений из строкового типа. После чего ответы на запросы помещается в созданные
таблицы. После того как работа с таблицей “sttm_export” закончена она удаляется. Затем
данные из структурированных таблиц перегружаются в экспортируемый XML-файл, после
чего таблицы “stin_export_ou”,“stin_export_p” ,“stin_export_zn” удаляются.
Заключение
На основе проведенного анализа можно отметить следующее. Создание подсистемы
экспорта обусловлено тем, что необходимо анализировать информацию, полученную в
результате мониторинга объекта учета. Создание данной подсистемы сэкономит время,
которое будет затрачено BI-системой на извлечение информации, а также на обработку
плохо структурированной информации. Адаптивная распределенная система мониторинга с
помощью подсистемы экспорта сможет извлекать наиболее важную для пользователя
системы информацию и структурировать, а BI-системе передавать уже обработанную
информацию для анализа и принятия решения.
Таким образом, разработанные требования к информационному и алгоритмическому
обеспечению можно рассматривать в качестве спецификаций в процессе разработки
подсистемы экспорта данных системы административного мониторинга.
СПИСОК ЛИТЕРАТУРЫ
1.
Фролов А.И., Константинов И.С. Административный мониторинг как элемент
процесса организации управления в организационно-технических системах // Управление
развитием крупномасштабных систем (MLSD’2011): Материалы Пятой международной
конференции (3-5 октября 2011г., Москва, Россия). Том II. – М.: ИПУ РАН, 2011. – С. 383386.
2.
Новикова, Е.В. О возможности интеграции системы административного
мониторинга с BI-системами [Электронный ресурс] // Материалы II международной научнотехнической интернет-конференции «Информационные системы и технологии», г. Орел, 01
апреля – 31 мая 2013 г. – Орел. – Режим доступа: http://irsit.ru/article319
3.
Островский Е.В. Порядок разработки ETL-процессов системы [Электронный
ресурс] // Техническая библиотека CitForum: [сайт]. URL: http://citforum.ru/gazeta/5/ (дата
обращения: 10.03.2014).
4.
Константинов И.С., Фролов А.И., Кравцова Н.А. Модель хранения данных в
адаптивной
автоматизированной
системе
административного
мониторинга
//
Информационные системы и технологии. – 2010. – №4(60). – С. 66-73.
Новикова Екатерина Вячеславовна
ФГБОУ ВПО «Госуниверситет-УНПК», г.Орел
Студент кафедры "Информационные системы"
Тел.: 89192630277
E-mail: [email protected]
Фролов Алексей Иванович
ФГБОУ ВПО «Госуниверситет – УНПК», г. Орел
к.т.н., доцент
доцент кафедры «Информационные системы»
г. Орел, Наугорское шоссе, 40
(4862) 43-09-44
[email protected]