Реальные преимущества применения технологий Big Data в

Реальные преимущества применения
технологий Big Data в процессах
операционной отчетности
Надежная информация для своевременных решений
Положение дел на рынке Big Data
2
Преимущества Big Data
3
>70 систем - источников
Архитектура BI ПАО «ВымпелКом»
Транзакционные
системы
Хранилище
данных
OnLine отчетность
Средства
отчетности
24’000 пользователей
Apache
Sqoop
Продуктив
Dashboard
330’000 отчетов/месяц
Копия
Ad-hoc
Отчеты
…
BDE
Java
Продуктив
Отчеты и
аналитика
Копия
Kafka
BIIS
4
Высокоуровневая архитектура МОЗ
Пользователи
…
Запрос на отчет
Параметры
…
Web интерфейс, мобильный интерфейс,
SOA интерфейс,
Excel PlugIn, Интерфейсные таблицы
• Управление очередью запросов
• Распределение прав доступа
• Маршрутизация и балансировка
нагрузки на источники
БД МОЗ
Глоссарий
• Выявление аналогичных запросов Запросы
и контроль актуальности данных на отчеты
• Выполнение запросов
• Контроль корректности
• Генерация форм отчетов
• Хранение отчетов
Master Data
Management
Ручной ввод
показателей
Настройки
отчетов
Готовые
отчеты
Отчеты
• Информирование пользователей
Excel
PDF
• Доставка отчетов
Доставка
Web интерфейс (http/https), Email, файловые папки,
ftp, ftps, sftp, SOA интерфейс, база данных
5
Доставка
Text
HTML
П ол уч е н и е д а н н ы х
Системыисточники
…
…
Масштабы МОЗ
Система развернута и успешно функционирует в:
России, Казахстане, Узбекистане, Таджикистане, Грузии, Армении
В России (ОАО «ВымпелКом»):
• 24’000 активных пользователей
• 1’700 различных регулярно использующихся видов отчетов
• 70 Gb максимальный размер выполненного отчета
• 330’000 отчетов в месяц
• 17’ 000’000 выполненных отчетов доступны пользователям
6
Масштабы источников данных для МОЗ
• 70 различных систем-источников информации
• Тысячи таблиц данных
• Сотни таблиц, с количеством записей >10 млрд.
7
Кластеры Big Data
Так начинали
Так сейчас
8
Задачи, решенные Big Data
• Значительно повышена скорость формирования «тяжелых» отчетов
• 17 млн. выполненных отчетов в оперативном доступе
• Упростили архитектуру источников данных
• Обеспечили возможность оперативно проводить разовые важные расчеты
• Реализованы новые услуги для клиентов
Инвестиции = 0
9
Спасибо
Шеленцов Сергей +7 903 1004444
[email protected]
[email protected]
10