Системы бизнес-аналитики в России 2013 BI
реклама
BI в России 2013 pdf-версия открытого обзора июнь 2013 Системы бизнес-аналитики в России 2013 BI Краткая версия аналитического отчета (pdf-версия открытого обзора на портале TAdviser) 1 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Центр TAdviser провел ежегодное исследование рынка систем бизнес-аналитики в России. В данном обзоре в свободном доступе представлены уникальные данные статистики о внедрении BI-систем, описывается функционал современных решений, приводятся рекомендации по выбору ИТ-систем. ИТ-директора и поставщики делятся своим опытом создания эффективных информационных систем. В обзоре приводятся данные по состоянию на второй квартал 2013 года. СОДЕРЖАНИЕ pdf-версии открытого обзора Определения и ответы на первые важные вопросы Определение Business Intelligence Возможности BI-систем. 15 главных пунктов Типовые блоки современных BI-систем Классификация продуктов Business Intelligence Преимущества использования BI-системы Рекомендации по выбору BI Внедрение BI. Типичные ошибки Российский рынок BI систем Оценки рынка BI в России Российский BI: отраслевая специфика Пример современного BI-решения: Prognoz Platform Главные тенденции рынка BI в России Мобильная аналитика: российские реалии Системы хранения данных в аналитике Что такое data discovery? «Линзмастер» растет вместе с QlikView Внедрение системы стратегического управления во Внешэкономбанке 2 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Внедрения BI в России: типичные ошибки Мировой рынок BI систем Глобальный рынок BI Тенденции развития мирового рынка BI Большие данные (Big Data) Big Data (мировой рынок) Self-Service BI Визуализация данных Для чего нужны In-Memory СУБД? Предикативная аналитика Cloud/SaaS BI: перспективы Open Source BI Интервью с экспертами 3 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Интервью с заказчиками Арташес Симонян: QlikView позволила нам добиться контроля над бизнесом Компания «Америя» занимается оптовой продажей продуктов питания. Это высоко конкурентный рынок, где только постоянный контроль за ассортиментом, продажами и действиями других торговых компаний может обеспечить успех бизнеса. Контролировать и анализировать бизнес-процессы «Америи» помогает BI-система на платформе QlikView, внедрение которой идет полным ходом. О том, зачем дистрибуторам аналитика, о важности простоты и гибкости решения для конечных пользователей TAdviser рассказал Арташес Симонян, заместитель генерального директора по финансам «Америя». Антон Саламатов: Мы заложили основу для консолидации отчетности в рамках всего банка Стандартных BI-проектов, как известно, не бывает. Свои различия накладывает не только специфика отрасли, но и особенности бизнеса – в данном случае, конкретного банка. О том, как решались задачи консолидации отчетности и перехода на единый способ представления информации в различных подразделениях, какие критерии лежали в основе выбора аналитической платформы, и каких в итоге удалось достичь результатов, редакции TAdviser рассказал Антон Саламатов, начальник управления развития информационно-аналитических систем АКБ «Росевробанк». 4 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Команда Chiesi Pharmaceuticals: Внедрив QlikView, мы получили инструмент мгновенных ответов на вопросы В 2012 году в компании стартовал проект по внедрению аналитической системы QlikView для гибкого анализа больших массивов данных. О результатах внедрения и дальнейших планах по развитию системы QlikView рассказывают Юрий Васильев, директор отдела развития бизнеса Chiesi Pharmaceuticals, и Павел Карасев, руководитель департамента информационных технологий Chiesi Pharmaceuticals. Интервью с экспертами Ольга Горчинская: На рынке BI заметна тенденция повышения требований к аппаратному обеспечению За последние годы рынок бизнесаналитики в России эволюционировал от внедрения OLAP-систем до использования инструментов предикативного анализа, вычислений в оперативной памяти и технологий big data. О самых «горячих» трендах рынка BI применительно к российской реальности вместе с TAdviser рассуждает Ольга Горчинская, директор по исследовательским проектам «ФОРС», один из наиболее известных специалистов в области анализа данных в России. 5 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Андрей Розанов: «Потребность в BI сегодня ощущают все отрасли» «Модные» BI-тренды вроде inmemory вычислений или размещения данных в «облаке» еще не нашли широкого применения на российском рынке, но компетенции и запросы заказчиков постоянно растут. За счет работы с широким кругом вендором в области бизнесанализа РДТЕХ есть, что предложить, и крупному, и СМБ-сегменту бизнеса. О самом важном применительно к современным BIпроектам TAdviser рассказал Андрей Розанов, руководитель направления BI компании РДТЕХ. COPYRIGHT Авторские права на настоящий обзор принадлежат Центру TAdviser. Полное или частичное копирование отчета без разрешения правообладателя является нарушением авторского права и может иметь юридические последствия в соответствии с действующим законодательством. ©TAdviser, 2013 Зарегистрированные товарные знаки, упомянутые в исследовании, принадлежат их законным владельцам. 6 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Определения и ответы на первые важные вопросы Определение Business Intelligence На неопределенность термина business intelligence повлияла многозначность английского слова «intelligence». Сегодня теоретики, вендоры и исследователи рынка BI зачастую расходятся в определении того, что такое BI. Термин Business Intelligence Впервые термин Business Intelligence предложил американский ученый Ханс Петер Лун (1896-1964). Он был специалистом в области information science, то есть занимался информатикой в ее первородном смысле, поскольку это было еще в докомпьютерную эпоху, ему были доступны только электромеханические табуляторы. Перед тем как обозначить предмет своей работы, он определил его компоненты, описав business как набор различных активностей, предпринимаемых в науке, технологиях, коммерции, индустрии, законодательной деятельности, обороне и т.д. Коммуникационные системы, поддерживающие эти виды активности, он назвал intelligence system, то есть системами, поддерживающими разумную деятельность. А под intelligence Лун понимал способность устанавливать взаимосвязь между представлениями отдельных фактов с тем, чтобы действовать в интересах решения поставленных задач и намеченных целей. Рождение BI датируется 1958 годом, когда Ханс Петер Лун опубликовал в IBM System Journal статью «A Business Intelligence System». В ней он представил бизнес как набор различных видов деятельности в науке, технологиях, коммерции, индустрии и даже в законодательной сфере, а обеспечивающие его системы – системами, поддерживающими разумную деятельность (intelligence system). Словом intelligence Лун обозначал способность устанавливать взаимосвязь между представлениями отдельных фактов и действиями в интересах решения поставленных задач и достижения намеченных целей. Лун замечателен своей разносторонностью: он проработал много лет в текстильной промышленности, сделал несколько изобретений, в том числе измерительный прибор «лунометр», производимый и используемый по сей день. Однако в 50-е годы он изменил направление деятельности и отдал много сил разработке методов работы с информацией; известно, что именно Лун предложил алгоритмы хеширования и полнотекстового поиска. 7 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 В представлении BI Лун явно опередил время, поэтому в дальнейшем эта часть его работы была забыта на 30 лет, вплоть до тех пор, когда в 1989 году ее заново открыл известный аналитик из Gartner Ховард Дреснер и дал BI расширительную трактовку, предложив использовать BI в качестве зонтичного термина для различных технологий, предназначенных для поддержки принятия решений, не более того, после этого начались расхождения во мнениях и поиск смысла BI. Двадцать лет спустя после публикации Дреснера его точка зрения стала общепринятой. Поддержка BI по-прежнему рассматривается как совокупность слабо связанных между собой технологий. Среди них по-прежнему остается и классический инструмент — электронные таблицы, плюс к тому генераторы отчетов, технологии OLAP, средства для управления бизнес-процессами с цифровыми приборными щитами, технологии разработки данных и текстов, а также многое другое. Современные определения Business Intelligence На неопределенность обсуждаемого термина повлияла многозначность английского слова «intelligence»: способность узнавать и понимать; готовность к пониманию; знания, переданные или приобретенные путем обучения, исследования или опыта; действие или состояние в процессе познания; разведка, разведывательные данные. В определении аналитиков Gartner конца 1980-х годов business intelligence это «Пользователецентрический процесс, который включает доступ и исследование информации, ее анализ, выработку интуиции и понимания, которые ведут к улучшенному и неформальному принятию решений». Позже в 1996 году появилось уточнение — «инструменты для анализа данных, построения отчетов и запросов могут помочь бизнеспользователям преодолеть море данных для того, чтобы синтезировать из них значимую информацию, — сегодня эти инструменты в совокупности попадают в категорию, называемую бизнес-интеллект (Business Intelligence)». Согласно первоначальным определениям, BI — это процесс анализа информации, выработки интуиции и понимания для улучшенного и неформального принятия решений бизнеспользователями, а также инструменты для извлечения из данных значимой для бизнеса информации. Надо отметить, что большинство определений трактуют «business intelligence» как процесс, технологии, методы и средства извлечения и представления знаний. В статье Джонатана Ву (Jonathan Wu) «Business Intelligence: What is Business Intelligence?», говорится: «Business Intelligence является процессом сбора многоаспектной информации об исследуемом предмете. Разработаны программные приложения, которые обеспечивают пользователей возможностью проводить такой процесс для ответа на вопросы бизнеса и для выявления значимых тенденций или шаблонов в исследуемой информации». А вот определение, предложенное The Data Warehousing Institute: «Business intelligence имеет отношение к процессу превращения данных в знания, а знаний в действия бизнеса для получения выгоды. Является деятельностью конечного пользователя, которую облегчают различные аналитические и групповые инструменты и приложения, а также инфраструктура хранилища данных». Глоссарий www.sdgcomputing.com/glossary.htm избегает напрямую говорить о business intelligence, а ведет речь об инструментах бизнес-интеллекта (business intelligence tools), но в контексте данных, информации и знаний: 8 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 «Инструменты business intelligence — программное обеспечение, которое позволяет бизнеспользователям видеть и использовать большое количество сложных данных. Знания, основанные на данных, (data-based knowledge) получаются из данных с использованием инструментов business intelligence и процесса создания и ведения хранилища данных (data warehousing)». Другая часть определений рассматривает business intelligence не как процесс, а как результат процесса извлечения знаний — как сами знания о бизнесе для принятия решений. Следующее определение взято из глоссария к материалу «Impossible Data Warehouse Situations: Solutions from the Experts»: «Business Intelligence (BI) обычно описывает результат углубленного анализа детальных данных бизнеса, включает технологии баз данных и приложений, а также практику анализа. Иногда используется как синоним «поддержки принятия решений», хотя Business Intelligence понятие технически более широкое». Другое определение подобного рода гласит: «Business Intelligence — знания, добытые о бизнесе с использованием различных аппаратнопрограммных технологий. Такие технологии дают возможность организациям превращать данные в информацию, а затем информацию в знания». Это определение четко разграничивает понятия «данные», «информация» и «знания». Данные понимаются как реальность, которую компьютер записывает, хранит и обрабатывает — это «сырые данные». Информация — это то, что человек в состоянии понять о реальности, а знания — это то, что в бизнесе используется для принятия решений. В процессе организации информации для получения знания часто применяют хранилища данных, а для представления этого знания пользователям — инструменты бизнесинтеллекта. Каждый год количество данных в мире удваивается, но от этого мало пользы, хотя их можно превратить в полезную информацию и знания — информация сама по себе не очень подходит для принятия решений в виду ее огромного объема. Средства бизнесинтеллекта и хранилищ данных призваны находить в кучах данных и информации то существенное, что реально прибавляется к нашим полезным знаниям. Они не пытаются полностью заменить человека, а используют для формирования гипотез интуицию, основанную на его подсознании и личном опыте. Итак, бизнес-интеллект (business intelligence) в широком смысле слова определяет: процесс превращения данных в информацию и знания о бизнесе для поддержки принятия улучшенных и неформальных решений; информационные технологии (методы и средства) сбора данных, консолидации информации и обеспечения доступа бизнес-пользователей к знаниям; знания о бизнесе, добытые в результате углубленного анализа детальных данных и консолидированной информации. 9 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Возможности BI-систем. 15 главных пунктов Аналитики из Gartner считают, что в платформе для бизнес-анализа должны быть реализованы 15 ключевых возможностей, сгруппированных по трем основным категориям. Возможности интеграции BI-инфраструктура – все инструменты BI-платформы должны быть реализованы «в едином ключе», в том числе должны использовать общие метаданные, единую объектную модель, сквозную модель безопасности, администрирования, портальной интеграции, общий движок исполнения запросов. Управление метаданными — возможно важнейший из критериев. Все инструменты в рамках единой платформы должна скреплять не только модель метаданных, но и единые средства для поиска, получения, хранения, повторного использования и публикации объектов метаданных, таких как массивы, иерархии, множества, метрики и элементы оформления отчетов. 10 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Разработка — BI-платформа должна предоставлять как пользователям, так и разработчикам набор специфических инструментов для создания BI-приложений, которые могут интегрироваться между собой и выстраиваться в сквозные бизнес-процессы, в том числе внедряемые в сторонние (внешние) бизнес-приложения. При этом хотя бы часть инструментов должна быть доступна на интуитивно понятном уровне, не требующем навыков программирования, желательно с графическим интерфейсом. Кроме того, среда разработки должна поддерживать веб-сервисы для решения таких задач, как управление и администрирование, доставка информации, соблюдение графиков и регламентов работы. Взаимодействие — BI-платформа должна содержать средства для обмена как самой информацией, так и мнениями по поводу полученных результатов. Эти средства могут быть реализованы в виде дискуссионных форумов и конференций. Кроме того, BI-приложения должны иметь возможность на основании определенных бизнес-правил назначать задания конкретным пользователям и отслеживать их выполнение. Иногда для реализации этих задач требуется использование отдельных самостоятельных приложений. Представление информации Отчетность — возможность создания форматированных и интерактивных отчетов, с развитыми механизмами для их распространения и обновления. В BI-системе должны поддерживаться различные стили отчетов (например, финансовые или операционные контрольные панели). Контрольные (информационные) панели (dashboards) — это один из видов представления отчетности, но выделен в отдельную строку из-за его отличительной и важной способности представлять данные в наглядном, интуитивно понятном виде, при помощи различных шкал, показателей, индикаторов и т.п. Посредством таких контрольных панелей пользователи могут следить за текущим состоянием ключевых показателей и процессов и сравнивать их с намеченными, целевыми значениями. Такие панели позволяют извлекать операционную информацию из бизнес-приложений и делают ее доступной в реальном времени. Произвольные (ad hoc) запросы — доступная для пользователей возможность самостоятельно (без привлечения ИТ-специалистов) создавать и выполнять уникальные, нетиповые запросы. Для реализации таких возможностей в BI-платформе должен присутствовать развитый семантический слой, позволяющий находить и извлекать нужную информацию из имеющихся источников. Кроме того, в системе должны присутствовать средства для аудита этих запросов, позволяющие убедиться в правильности их выполнения. Интеграция с приложениями Microsoft Office — в некоторых случаях BI-платформа используется как промежуточный инструмент для выполнения аналитических задач с соблюдением правил корректности и безопасности данных. При этом в качестве клиентской части BI-системы могут выступать продукты семейства Microsoft Office (в частности, Excel). Для этих случаев, BI-вендору необходимо обеспечивать полную интеграцию с системами Microsoft Office, включая поддержу форматов документов, формул, сводных таблиц и механизмов обновления данных, а в расширенном варианте – еще и механизмов для блокирования отдельных ячеек и для «обратного» сохранения в базу данных внесенных в таблицы изменений. Возможности поиска - добавление поискового индекса как к структурированным, так и к неструктурированным источникам данных и объединение их в классифицированную структуру c определенными измерениями (зачастую использующими семантический слой BI) 11 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 с тем, чтобы пользователи могли с легкостью ориентироваться и изучать данные посредством поискового (как у Google) интерфейса. Мобильные возможности (пункт добавлен в 2012 году) – этот функциональный блок объединяет инструментарий, позволяющий доставлять отчеты и контент аналитических панелей на мобильные устройства (такие как смартфоны и планшеты), а также использовать интерактивные возможности девайсов (например, нажатие) и другие опции, обычно не доступные на десктопах и ноутбуках (геолокация и другие). Анализ данных Оперативная аналитическая обработка данных (OLAP, OnLine Analytical Processing) — поддержка OLAP-кубов значительно ускоряет процессы обработки запросов и выполнения расчетов, обеспечивая анализ данных в различных срезах (такой стиль анализа обозначается термином «slicing and dicing», что дословно переводится как «нарезание на кубики и ломтики», то есть в продольном и поперечном направлении). Такие инструменты также позволяют осуществлять планирование, использовать анализ по типу "что, если...". OLAP при этом может быть реализован посредством различных архитектур данных и хранилищ, как дисковых, так и in-memory. Интерактивная визуализация — максимально наглядное представление данных с использованием различных интерактивных изображений, схем и графиков (вместо привычных таблиц с обычными строками и столбцами). Предикативное моделирование и data mining— эти инструменты призваны помочь компаниям классифицировать данные, формировать собственные номинальные и количественные шкалы, а также использовать для их анализа развитый математический аппарат. Карты показателей (scorecards) — позволяют на основании определенных ключевых показателей (отображаемых на контрольных панелях) контролировать ход выполнения стратегических планов и достижения ключевых показателей эффективности (KPI). Тем самым операционные показатели «привязываются» к целевым стратегическим индикаторам. Для дальнейшего, более детального анализа эти показатели могут расшифровываться при помощи дополнительных отчетов. Такие механизмы позволяют реализовывать различные методологии управления, такие как «шесть сигма» или системы сбалансированных показателей (BSC). Перспективное моделирование, симуляторы и оптимизация (пункт добавлен в 2013 году) - инструментарий предназначен для поддержки принятия решений в условиях выбора правильного значения переменной как детерминированных, так и при моделировании случайных процессов. 12 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Типовые блоки современных BI-систем Основные возможности BI-систем развиваются по четырем основным направлениям: хранение данных, интеграция данных, анализ данных и представление данных. Данные, используемые для бизнес-анализа, организуются в специальные хранилища (data warehouse, DW). Эти данные должны отражать текущую, реальную и полную картину бизнеса. Информация в хранилище данных (включая исторические данные) собирается из различных операционных (транзакционных) систем и структурируется специальным образом для более эффективного анализа и обработки запросов (в обличие от обычных баз данных, где информация организована таким образом, чтобы оптимизировать время обработки текущих транзакций). Хранилища данных содержат огромные объемы информации, охватывающей все доступные стороны деятельности предприятия и позволяющие рассматривать все аспекты функционирования бизнеса в совокупности. Для решения более узких, конкретных задач из общего хранилища могут вычленяться подмножества данных – так называемые витрины данных (data marts). Интеграция данных Существует несколько подходов к интеграции данных. Для формирования и поддержания хранилищ данных используются так называемые ETLсредства – инструменты для извлечения данных (extract), преобразования данных (transform), то есть приведения их к необходимому формату, обработки в соответствии с определенными правилами, комбинировании с другими данными и т.п., а также для загрузки данных (load), записи данных в хранилище или в другую базу. 13 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 В дополнение к ETL, BI-системы включают в себя инструменты для работы с SQL (structured query language), позволяющие пользователям напрямую обращаться к данным. В последнее время инструменты для формирования и обработки запросов стали более «дружественными», ориентированными на неподготовленных бизнес-пользователей (а не на квалифицированных ИТ-специалистов). Для интеграции данных из разрозненных источников в современных BI-системах используется промежуточный, виртуальный слой метаданных, что позволяет избавить бизнес-пользователей от необходимости разбираться с тонкостями хранения и обработки информации и облегчающий внесение изменений. Эти средства не требуют никаких физических операций по перемещению и обработке данных, что отличает их от ETLинструментов. Использование подобного слоя метаданных, в принципе, позволяет отказаться от организации дорогостоящих хранилищ данных (однако при этом необходимо принимать во внимание вопросы обеспечения необходимой производительности). Такой подход к интеграции аналитики из TEC (Technology Evaluation Centers) определяют как EII (enterprise information integration). Кроме того, для интеграции данных могут создаваться корпоративные порталы, обеспечивающие взаимосвязь на уровне данных и бизнес-процессов. Такие порталы реализуют лишь внешнюю взаимосвязь, иначе говоря – обеспечивают совместный доступ к информации. Такая реализация у экспертов из TEC получила название EAI (enterprise application integration). Анализ данных Для всестороннего анализа данных в современных BI используются OLAP-инструменты (online analytical processing). Они позволяют рассматривать различные срезы данных, в том числе временные, позволяющие выявлять различные тренды и зависимости (по регионам, продуктам, клиентам и т.п.). Для представления данных используются различные графические средства – отчеты, графики, диаграммы, настраиваемые при помощи параметров. В наиболее развитые BI-решения включены блоки для глубокого исследования данных (data mining). Иногда этот термин ошибочно используют для обозначения инструментов, позволяющих по-новому представить (отобразить) информацию, однако на самом деле эти инструменты призваны помочь в выявлении скрытых (неочевидных) закономерностей, моделей, составления прогнозов. Они основаны на сканировании и статистической обработке огромных массивов данных и в конечном итоге призваны облегчить принятие правильных и обоснованных стратегических решений благодаря анализу различных вариантов развития событий. В качестве инструментов используются нейронные сети, деревья решений. Панели и карты Общепринятым средством визуализации данных в современных BI-решениях являются информационные (контрольные, приборные) панели (dashboards), на которых результаты отображаются в виде шкал и индикаторов, позволяющих контролировать текущие значения выбранных показателей, сравнивать их с критическими (минимально\максимально допустимыми) значениями и таким образом выявлять потенциальные угрозы для бизнеса. 14 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Контрольные панели считаются одним из наиболее удобных способов представления информации о «состоянии здоровья» бизнеса. Они позволяют уместить на экране всю важнейшую информацию о текущих операциях, выявленных и потенциальных проблемах. Контрольные панели, как и карты показателей (scorecards), основаны на анализе ключевых показателей эффективности (KPIs). Однако, как правило, контрольные панели отображают текущее состояние общих показателей, а карты показателей предназначены для сравнения текущих показателей с плановыми, целевыми, и отображают динамику изменения этих показателей во времени. Карты показателей обычно бывают более персонализированными, настраиваются в зависимости от ролей и задач конкретного пользователя (финансовое управление, снабжение, продажи и т.п.). При необходимости все эти показатели могут быть детализированы при помощи дополнительных отчетов, графиков и диаграмм. 15 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Классификация продуктов Business Intelligence Сегодня категории BI-продуктов включают: BI-инструменты и BIприложения. Первые, в свою очередь, делятся на: генераторы запросов и отчетов; развитые BI-инструменты, — прежде всего инструменты оперативной аналитической обработки (online analytical processing, OLAP); корпоративные BI-наборы (enterprise BI suites, EBIS); BI-платформы. Главная часть BI-инструментов делится на корпоративные BI-наборы и BI-платформы. Средства генерации запросов и отчетов в большой степени поглощаются и замещаются корпоративными BI-наборами. Многомерные OLAP-механизмы или серверы, а также реляционные OLAP-механизмы являются BI-инструментами и инфраструктурой для BIплатформ. Большинство BI-инструментов применяются конечными пользователями для доступа, анализа и генерации отчетов по данным, которые чаще всего располагаются в хранилище, витринах данных или оперативных складах данных. Разработчики приложений используют BI-платформы для создания и внедрения BI-приложений, которые не рассматриваются как BIинструменты. Примером BI-приложения является информационная система руководителя EIS. Инструменты генерации запросов и отчетов Генераторы запросов и отчетов — типично «настольные» инструменты, предоставляющие пользователям доступ к базам данных, выполняющие некоторый анализ и формирующие отчеты. Запросы могут быть как незапланированными (ad hoc), так и иметь регламентный характер. Имеются системы генерации отчетов (как правило, серверные), которые поддерживают регламентные запросы и отчеты. Настольные генераторы запросов и отчетов расширены также некоторыми облегченными возможностями OLAP. Развитые инструменты этой категории объединяют в себе возможности пакетной генерации регламентных отчетов и настольных генераторов запросов, рассылки отчетов и их оперативного обновления, образуя так называемую корпоративную отчетность (corporate reporting). В ее арсенал входят сервер отчетов, средства рассылки, публикации отчетов на Web, механизм извещения о событиях или отклонениях (alerts). Характерные представители — Crystal Reports, Cognos Impromptu и Actuate e.Reporting Suite. OLAP или развитые аналитические инструменты Инструменты OLAP являются аналитическими инструментами, которые первоначально были основаны на многомерных базах данных (МБД). МБД — это базы данных, сконструированные специально для поддержки анализа количественных данных с множеством измерений, содержат данные в «чисто» многомерной форме. Большинство приложений включают измерение времени, другие измерения могут касаться географии, организационных единиц, клиентов, продуктов и др. OLAP позволяет организовать измерения в виде иерархии. Данные представлены в виде гиперкубов (кубов) — логических и физических моделей показателей, коллективно использующих измерения, а также иерархии в этих измерениях. Некоторые данные предварительно агрегированы в БД, другие рассчитываются «на лету». 16 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Средства OLAP позволяют исследовать данные по различным измерениям. Пользователи могут выбрать, какие показатели анализировать, какие измерения и как отображать в кросстаблице, обменять строки и столбцы «pivoting», затем сделать срезы и вырезки («slice&dice»), чтобы сконцентрироваться на определенной комбинации размерностей. Можно изменять детальность данных, двигаясь по уровням с помощью детализации и укрупнения «drill down/ roll up», а также кросс-детализации «drill across» через другие измерения. Для поддержки МБД используются OLAP-серверы, оптимизированные для многомерного анализа и поставляемые с аналитическими возможностями. Они обеспечивают хорошую производительность, но обычно требуют много времени для загрузки и расширения МБД. Поставляются с возможностью «reach-through», позволяя перейти от агрегатов к деталям в реляционных БД. Классический OLAP-сервер — Hyperion Essbase Server. Сегодня реляционные СУБД применяются для эмуляции МБД и поддерживают многомерный анализ. OLAP для реляционных БД (ROLAP) имеет преимущество по масштабируемости и гибкости, но проигрывает по производительности многомерному OLAP (MOLAP), хотя существуют методы повышения производительности, наподобие схемы «звезда». Несмотря на то что МБД являются по-прежнему наиболее подходящими для оперативной аналитической обработки, сейчас эту возможность встраивают в реляционные СУБД или расширяют их (например, MS Analysis Services или Oracle OLAP Services — это не то же самое, что ROLAP). Также существует гибридная оперативная аналитическая обработка данных (HOLAP) для гибридных продуктов, которые могут хранить многомерные данные естественным образом, а также в реляционном представлении. Доступ к МБД осуществляется с помощью API для генерации многомерных запросов, тогда как к реляционным БД доступ производится посредством запросов на SQL. Примером ROLAP-сервера является Microstrategy7i Server. Настольные OLAP-инструменты (например, BusinessObjects Explorer, Cognos PowerPlay, MS Data Analyzer), встроенные сейчас в EBIS, облегчают конечным пользователям просмотр и манипулирование многомерными данными, которые могут поступать из серверных ресурсов данных ROLAP или MOLAP. Некоторые из этих продуктов имеют возможность загружать кубы, так что они могут работать автономно. Как часть EBIS эти настольные инструменты оснащены возможностями серверной обработки, которые выходят за пределы их традиционных возможностей, но не конкурируют с MOLAP-инструментами. Настольные инструменты по сравнению с MOLAP-средствами имеют небольшую производительность и аналитическую мощь. Нередко обеспечивается интерфейс через Excel, например, MS Eхcel2000/OLAP PTS, BusinessQuery for Excel. Практически все OLAP-инструменты имеют Web-расширения (Business Objects WebIntelligence к примеру), для некоторых они являются базовыми. Корпоративные BI-наборы EBIS — естественный путь для предоставления BI-инструментов, которые ранее поставлялись в виде разрозненных продуктов. Эти наборы интегрируются в наборы инструментов генерации запросов, отчетов и OLAP. Корпоративные BI-наборы должны иметь масштабируемость и распространяться не только на внутренних пользователей, но и на ключевых заказчиков, поставщиков и др. Продукты BI-наборов должны помогать администраторам при внедрении и управлении BI без добавления новых ресурсов. Из-за тесного родства Web и корпоративных BI-наборов некоторые поставщики описывают свои BIнаборы как BI-порталы. Эти портальные предложения обеспечивают подмножество возможностей EBIS с помощью Web-браузера, однако поставщики постоянно увеличивают их 17 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 функциональность, приближая ее к возможностям инструментов для «толстых» клиентов. Типичные EBIS поставляют Business Objects и Cognos. BI-платформы BI-платформы предлагают наборы инструментов для создания, внедрения, поддержки и сопровождения BI-приложений. Имеются насыщенные данными приложения с «заказными» интерфейсами конечного пользователя, организованные вокруг специфических бизнеспроблем, с целевым анализом и моделями. BI-платформы, хотя и не так быстро растут и широко используются как EBIS, являются важным сегментом благодаря ожидаемому и уже происходящему росту BI-приложений. Стараниями поставщиков реляционных СУБД, создающих OLAP-расширения своих СУБД, многие поставщики платформ, которые предоставили многомерные СУБД для OLAP, чтобы выжить были вынуждены мигрировать в область BI-приложений. Семейства продуктов СУБД, обеспечивающие возможности BI, действительно подталкивают рост рынка BI-платформ. Отчасти это происходит благодаря большей активности ряда поставщиков СУБД. Рассматривая различные инструменты, видим, что EBIS являются высоко функциональными средствами, но они не имеют такого большого значения, как BI-платформы или заказные BIприложения. Зато BI-платформы обычно не так функционально полны, как корпоративные BIнаборы. При выборе BI-платформ нужно учитывать следующие характеристики: модульность, распределенную архитектуру, поддержку стандартов XML, OLE DB for OLAP, LDAP, CORBA, COM/DCOM и обеспечение работы в Web. Они должны также обеспечивать функциональность, специфическую для бизнес-интеллекта, а именно: доступ к БД (SQL), манипулирование многомерными данными, функции моделирования, статистический анализ и деловую графику. Эту категорию продуктов представляют фирмы Microsoft, SAS Institute, Oracle, SAP и другие. BI-приложения В приложения бизнес-интеллекта часто встроены BI-инструменты (OLAP, генераторы запросов и отчетов, средства моделирования, статистического анализа, визуализации и data mining). Многие BI-приложения извлекают данные из ERP-приложений. BI-приложения обычно ориентированы на конкретную функцию организации или задачу, такие как анализ и прогноз продаж, финансовое бюджетирование, прогнозирование, анализ рисков, анализ тенденций, «churn analysis» в телекоммуникациях и т.п. Они могут применяться и более широко как в случае приложений управления эффективностью предприятия (enterprise perfomance management) или системы сбалансированных показателей (balanced scorecard). Разведка данных Разведка данных (data mining) представляет собой процесс обнаружения корреляции, тенденций, шаблонов, связей и категорий. Она выполняется путем тщательного исследования данных с использованием технологий распознавания шаблонов, а также статистических и математических методов. При разведке данных многократно выполняются различные операции и преобразования над сырыми данными (отбор признаков, стратификация, кластеризация, визуализация и регрессия), которые предназначены: 1) для нахождения представлений, которые являются интуитивно понятными для людей, которые, в свою очередь, лучше понимают бизнес-процессы, лежащие в основе их деятельности; 2) для нахождения моделей, которые могут предсказать результат или значение определенных ситуаций, используя исторические или субъективные данные. 18 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 В отличие от использования OLAP разведка данных в значительно меньшей степени направляется пользователем, вместо этого полагается на специализированные алгоритмы, которые устанавливают соотношение информации и помогают распознать важные (и ранее неизвестные) тенденции, свободные от предвзятости и предположений пользователя. Другие методы и средства BI Кроме перечисленных инструментов, в состав BI могут входить следующие средства анализа: пакеты статистического анализа и анализ временных рядов и оценки рисков; средства моделирования; пакеты для нейронных сетей; средства нечеткой логики и экспертные системы. Дополнительно нужно отметить средства для графического оформления результатов: средства деловой и научно-технической графики; «приборные доски», средства аналитической картографии и топологических карт; средства визуализации многомерных данных. 19 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Преимущества использования BI-системы Ключевыми преимуществами от внедрения BI-системы на данный момент являются повышение скорости и точности составления отчетов, аналитики и планирования, повышение эффективности процессов принятия решений, увеличение удовлетворенности клиентов. Гораздо реже BI-системы позволяют добиться сокращения операционных расходов или увеличения объемом выручки. Задачи, решаемые BI-системой Системы для бизнес-анализа решают очень широкий спектр задач. Так, «ближним горизонтом» является мониторинг, анализ и корректировка оперативных целей: поддержка развития бизнес-процессов и структурных изменений предприятия; возможность моделирования различных бизнес-ситуаций в единой информационной среде; проведение оперативного анализа по нестандартным запросам; 20 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 снижение рутинной нагрузки на персонал и высвобождение времени для более глубокой аналитической работы; устойчивая работа при увеличении объема обрабатываемой информации, возможность масштабирования. В части поддержки стратегического развития предприятия BI-системы обеспечивают оценку эффективности различных направлений бизнеса; оценку достижимости поставленных целей; оценку эффективности использования ресурсов, в том числе дочерними предприятиями; оценку эффективности операционной, инвестиционной и финансовой деятельности; бизнес-моделирование и оценку инвестиционных проектов; управление затратами, налоговое планирование, планирование капитальных вложений. BI vs ERP По мнению аналитиков компании MiPro Consulting, внедрение в организации самостоятельной BI-системы обеспечивает целый ряд преимуществ перед использованием аналитических инструментов, встроенных в другие корпоративные информационные системы (КИС). Среди таких преимуществ BI-системы: большая наглядность и удобство работы с информацией для бизнес-пользователей, в том числе из числа топ-менеджмента; возможность использования несколько аналитических решений для различных направлений деятельности в масштабах всего предприятия, а не в рамках отдельных подразделений; позволяет извлекать, анализировать и консолидировать данные практически из любых источников; базируется на промышленной, поддерживаемой и развиваемой BI-платформе; имеет статус самостоятельного, стратегического, критически важного для бизнеса приложения; обеспечивает необходимую масштабируемость, эффективность, производительность; позволяет выстраивать и поддерживать в масштабах всей организации сквозные процедуры и процессы обработки, единые централизованные аналитические модели и проекты; содержит встроенные инструменты для решения различных и разнообразных аналитических задач, как с точки зрения бизнеса, так и с точки зрения ИТ; обеспечивает доступ к данным и аналитическим инструментам большего числа пользователей. Использование же аналитических инструментов, встроенных в другие корпоративные информационные системы, например класса ERP или CRM, имеет, как правило, следующие ограничения: ограниченный набор реализованных аналитических инструментов, одинаковых для всех пользователей, независимо от их ролей и задач; возможность использования для анализа только собственных, внутренних данных, при этом информация из других систем остается недоступной, а данные из различных источников не могу быть консолидированы; отсутствие развитых встроенных инструментов для анализа приводит к тому, что система используется лишь для извлечения хранимых в ней данных, которые затем экспортируются и анализируются в Excel; 21 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 ERP и CRM системы, как правило, имеют ограниченное число пользователей, что «отсекает» от аналитики большое число сотрудников компании, которым эта информация была бы полезна и интересна (существенное увеличение же числа пользователей снижает производительность транзакционных систем); транзакционные системы обычно не содержат всех необходимых для проведения анализа показателей, не включают в себя такие инструменты, как информационные панели (dashboards), ставшие уже стандартом для представления аналитической информации; результаты анализа в таких системах представляются обычно в виде табличных отчетов или диаграмм, что не позволяет получить детального и всестороннего представления о реальном положении дел и не дает ответа на многие возникающие вопросы; возможности создания гибких пользовательских (ad-hoc) запросов ограничена; ограничено использование больших объемов накопленной исторической информации. Преимущества BI-систем в цифрах Вопрос об эффекте внедрения BI систем стал одним из ключевых в ходе исследования BARC в 2012 году. Интересно, что BARC включает этот вопрос в свое исследование с 2002 года, так что данные в отчете компании представлены в динамике. Всего исследователи выделили 11 преимуществ от внедрения BI системы. Как часто компании отмечали то или иное преимущество в 2012 году, обозначено в таблице ниже. Преимущества от использования BI систем BARC (Business Application Research Center), 2012 В первой колонке этой таблицы перечислены преимущества, а далее следует частота их упоминания в ответах в следующем контексте (по колонкам): преимущество доказано количественно; доказано, но не измерено; официально заявлено, но не проверено; неофициально подразумевается; не достигнуто; удорожило проект или негативно сказалось на нем; не определенный ответ. 22 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Какие преимущества достигаются в рамках внедрения BI наиболее часто? BARC (Business Application Research Center), 2012 Как видно из представленной выше таблицы, наиболее часто компании, внедрившие BIсистемы, отмечали достижение следующих результатов: оптимизация процессов принятие решений, ускорение процессов подготовки отчетов и анализа, повышение качества данных, повышение удовлетворённости сотрудников и клиентов. Наименее эффективным было использование систем бизнес-анализа с целью сокращения каких бы то ни было издержек. 23 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Изменение частоты достижения преимуществ в ходе BI-проектов в 2002-2011 годы BARC (Business Application Research Center), 2011 Согласно последнему графику, на котором представлена частота достижения 9 ключевых преимуществ в ходе реализации BI-проектов за период с 2002 по 2011 год, по большинству эффектов от внедрения в 2009 году произошел резкий спад. Зато в 2010-2011 года по большинству параметров был достигнут уровень выше докризисного. Например, такой параметр как удовлетворенность клиентов за последние два года отметили почти в два раза больше компаний. 24 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Рекомендации по выбору BI Критерии функциональности и производительности системы должны ставиться при выборе решения для бизнес-аналитики во главу угла. Выбирая или обновляя систему для бизнес-анализа, следует продумать способы хранения и интеграции данных, средства визуализации и аналитики. Критерии выбора систем Многие организации, планируя BI-проект, проводят полную оценку представленных на рынке BI-систем, но так поступают далеко не все. Во-первых, прохождение конкурентного сравнения с системами этого же класса не всегда в интересах вендоров, поэтому они стараются его избегать. Кроме того, часто организации считают полноценный выбор системы затратным и требующим большого количества времени проектом. Именно поэтому часто компании стремятся пропустить эту фазу внедрения, и осуществляют выбор BI-системы по следующим критериям: используется ли другое ПО этого же вендора в компании, насколько удачного система сочетается с уже установленными продуктами, с системой хорошо знаком менеджмент по своей предыдущей работе, поставщик является для компании стратегическим вендором. Но являются ли эти критерии достаточными? BARC (Business Application Research Center), 2010 Исследование BARC (Business Application Research Center) свидетельствует о том, что те системы, которые были отобраны в ходе конкурентного сравнения с другими продуктами приносят положительный эффект, существенно превышающий эффект проектов, где при 25 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 выборе решения оценивался функционал только одной системы или такой оценки не производилось вовсе. В BARC также отмечают, что возможности системы в настоящее время становятся для большинства компаний решающим фактором выбора, тогда как значение вендора и стоимости решения снижается, причем этот тренд нарастает с 2002 года. Что касается особенностей ключевых представленных на рынке решений, то, безусловно, они привлекают пользователей за счет различных, присущих только им преимуществ. Проанализировав критерии выбора решения для более чем 2 тыс. проектов, BARC свела полученные данные в виде таблиц, отражающих техническую и коммерческую привлекательность различных систем. Главный вывод, который делают эксперты: на любой вопрос есть свой ответ, то есть в разных ситуациях можно подобрать именно ту BI-систему, которая оптимально отвечает заявленным требованиям. Например, согласно данным исследования за 2012 год, наибольшую удовлетворенность в группе BI-платформ в результате внедрения получили пользователи систем Oracle Essbase, IBM Cognos и QlikView. В эту группу отнесены вендоры с доходом более 200 млн долларов в год либо имеющие действительно международное присутствие. Такие платформы обычно используются на промышленном уровне. Степень удовлетворенности пользователей крупных BI-платформ BARC, 2012 В следующей группе систем для корпоративной отчетности объединены продукты, которые предоставляют развернутые промышленные инструменты подготовки отчетов. Интересно, что в данной группе лидирует Arcplan, предлагающий гибкие средства создания отчетов любого типа, на втором и третьем месте по степени удовлетворенности пользователей MicroStrategy и Information Builders. 26 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Степень удовлетворенности пользователей платформ для отчетности BARC, 2012 В группе систем для создания дэшбордов (контрольных панелей) первые строчки вообще оказались за нишевыми вендорами - Yellowfin, Dimensional Insight и опять же Arcplan. Степень удовлетворенности пользователей систем построения дэшбордов BARC, 2012 В группе систем с развитыми средствами работы с OLAP лидируют, поданным BARC за 2012 год, решения BOARD, Targit и Oracle Essbase. 27 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Степень удовлетворенности пользователей систем на OLAP BARC, 2012 В группе решений с развитыми средствами визуализации и data discovery оказалось пять вендоров в порядке убывания пользовательской удовлетворенности это: Dimensional Insights, Phocas, Tableau, Cyberscience, QlikTech. Степень удовлетворенности пользователей систем визуализации BARC, 2012 Аналитики BARC напоминают, что коммерческие свойства BI-системы до сих пор стоят во главе угла для большинства организаций, тогда как их функциональные возможности не являются приоритетным критерием при выборе системы. Однако использование всего лишь одного универсального критерия – критерия производительности системы – могло бы существенным образом отразиться на результативности проектов. 28 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Основные критерии выбора BI-систем BARC (Business Application Research Center), 2010 Аналитики BARC разработали шкалу факторов, которая отражает, как организации должны ранжировать критерии выбора BI-системы и то, как это происходит на самом деле. Так, критерий производительности должен находиться на первом месте (левая колонка), а на самом деле находится на четвертом (правая колонка). А критерий поддержки системой разнообразных серверных платформ недооценивается бизнесом на 13 пунктов: он должен стоять на 5 месте, а занимает только 13-е. Выбор функциональных возможностей системы Хранение данных Если перед компанией стоит задача выявления долгосрочных или периодических трендов, то есть пользователям необходимо анализировать исторические данные, поступающие из различных подразделений в течение последних 3-5 лет, то, скорее всего, следует тщательнее продумывать организацию ETL-операций для загрузки данных в хранилища данных. Если же компании или какому-либо из ее подразделений необходимо анализировать информацию ежемесячно или еженедельно, то оптимальным решением будет выделение и организация для этих целей (для каждого из подразделений или для решения конкретных задач) отдельных витрин данных, также с применением ETL-инструментов. 29 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Если же компания планирует анализировать оперативные данные в режиме, приближенном к реальному времени (то есть обновляемые несколько раз в течение дня), то, возможно, следует отказаться от организации хранилища данных и обратить внимание на проработку средств интеграции на основе промежуточного виртуального слоя метаданных с проработкой соответствующих интерфейсов и алгоритмов (по принципу EII). Интеграция данных Как уже отмечалось выше, если целью внедрения BI-системы является решение отдельных, конкретных задач, то целесообразно ограничиться организацией витрин данных. При этом использование никаких отдельных интеграционных алгоритмов не потребуется. Если же, напротив, BI внедряется с целью получения единого, целостного взгляда на общее состояние бизнеса, то без создания централизованного хранилища данных и, соответственно, внедрения необходимых ETL-инструментов, пожалуй, не обойтись. Кроме того, для получения действительно адекватной картины бизнеса необходимо обратить особое внимание на обеспечение высокого качества анализируемых данных, а для этого потребуется внедрение расширенного набора средств для их «очистки» - выявления неполных или ошибочных данных, дублирующейся информации, приведения данных из различных источников к единому формату. Если же в компании делают акцент на изучении оперативных данных, то следует продумать средства репликации и обеспечения доступа. Визуализация и аналитика В зависимости от поставленных задач, а также от квалификации пользователей, выбираются и средства для визуализации данных – контрольные панели, карты показателей, отчеты, OLAP-кубы. Для опытных, квалифицированных пользователей оптимальным инструментом станут OLAPкубы, которые позволят им проводить глубокий и развернутый бизнес-анализ, с необходимой степенью детализации. Пользователи, которые в своей повседневной деятельности сталкиваются с необходимостью принятия управленческих решений, а также анализа эффективности бизнеса, заинтересованы в организации рабочего места в виде контрольной панели, на которой в виде наглядных шкал и индикаторов отображается состояние бизнеса в целом, с возможностью переключения между отдельными направлениями деятельности. Рядовым менеджерам необходимы средства для решения своих текущих задач, контроля хода выполнения отдельных видов операций, а также для контроля деятельности своих сотрудников (каждого отдельного работника и команды в целом). Кроме того, для организации четкого взаимодействия со смежными подразделениями (или регионами) необходимо иметь возможность получать представление о ходе выполнения взаимосвязанных задач. Вертикальное или горизонтальное решение На рынке существуют как горизонтальные BI-решения, в которых реализован набор общеприменимых инструментов, так и специализированные вертикальные решения, «заточенные» под конкретные отрасли или задачи. И те, и другие имеют свои достоинства и недостатки. 30 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Преимуществом горизонтальных решений может считаться их способность расти вместе с организацией. Такие решения обычно масштабируемы и могут охватывать все направления деятельности и все подразделения крупной компании, а также легче поддаются изменениям. Обратной стороной такой широты возможностей является необходимость более длительной и тщательной настройки решений, адаптации под конкретные требования. Проекты внедрения становятся более дорогостоящими, а требования к ИТ-специалистам – более высокими. Вертикальные решения, со своей стороны, не требуют отдельной длительной и трудоемкой настройки для решения специфических задач и для соответствия требованиям отраслевых регламентирующих организаций (финансовых, медицинских и т.п.). Однако может оказаться, что различные подразделения в рамках одной структуры не смогут использовать единое решение, и потребуется освоение и интеграция нескольких различных систем для бизнесанализа. Те организации, которые и в настоящее время, и в будущем планируют заниматься своей специфической деятельностью, требующей соблюдения определенных строгих регламентов, скорее всего, выиграют именно от внедрения вертикальных решений. Если же уверенности в такой приверженности определенному виду деятельности в будущем нет, и велика вероятность того, что специализация компании значительно расширится, то выбор вертикального BI-решения является определенным риском. 31 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Внедрение BI. Типичные ошибки По мнению аналитиков Technology Evaluation Centers (TEC), лишь около 30% проектов внедрения BI-систем оказываются успешными. Основной проблемой является даже не выход проекта за рамки бюджета или отведенных временных границ, а несовпадение результатов с ожиданиями. Анализ чужих ошибок, как известно, способен помочь грамотным руководителям избежать собственных. Существует ряд факторов, которые гарантированно приводят к провалам BIпроектов. Поэтому чтобы реализовать внедрение успешно, необходимо эти факторы учесть и обеспечить им противодействие. Потребность бизнеса в использовании BI Еще до начала проекта необходимо абсолютно точно определить, какие именно выгоды принесет бизнесу внедрение BI. Часто внедрение BI-системы бывает обусловлена растущей конкуренцией и необходимостью дать ответ на вызовы рынка. Иногда внедрение BI бывает актуально при поглощении другой компании и существенно увеличении масштабов бизнеса: в таком случае, BI-инструменты позволяю обеспечить его прозрачность. BI-проект должен быть инициирован и поддержан бизнес-пользователями, а не навязан ИТспециалистами. Он не должен стать одним из типовых, стандартных шагов развития корпоративной ИТ-инфраструктуры просто потому, что «так принято», «это престижно» и т.п. В таком случае велика вероятность того, что внедрение BI подменит собой решение совершенно других задач, таких как управление эффективностью бизнеса, интеграция данных, обеспечение лучшего взаимодействия подразделений и пользователей, оптимизация бизнес-процессов. Постановка целей и задач проекта Первым и необходимым шагом при внедрении BI является проработка целей и задач. Именно строгое определение целей и задач поможет выбрать оптимальные инструменты для их решения и обеспечит понимание со стороны конечных пользователей. Необходимо также продумать и оценить масштабы внедрения BI-решения в организации. Случается, что изначально BI-систему создают с расчетом на 10-20 пользователей, а оказывается, что в использовании ее возможностей (по крайне мере, в части формирования отчетов) заинтересованы сотни сотрудников. В этом случае система не сможет справиться с потоком запросов и будет работать недостаточно эффективно, что подорвет в пользователях уверенность в ее качестве и стабильности и, возможно, заставит их вернуться к прежним инструментам для бизнес-анализа (электронным таблицам и рутинной ручной работе). Таким образом, все затраченные на внедрение усилия и средства окажутся напрасными. Оценив эффективность внедрения BI-системы в соседнем подразделении, руководители могут потребовать реализовать у себя такое же решение. Однако решаемые этим подразделением задачи, а также объем и оперативность анализируемой информации могут сильно различаться. Поэтому к масштабированию следует относиться с осторожностью и расценивать его как отдельный самостоятельный проект. 32 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Поддержка бизнеса Как фактическая, так и спонсорская поддержка проекта со стороны высшего менеджмента имеют, пожалуй, самую значимую роль для успеха проекта. Очень важно, чтобы менеджмент принимал персональное участие в проекте и имел четкое представление о конкретных выгодах внедрения BI. Это идеальный вариант, особенно в том случае, если в ходе реализации проекта возникнут какие-либо затруднения. С другой стороны, когда над проектом работают одновременно несколько менеджеров, это может обернуться ситуацией, когда каждый из них пытается вести проект в своем направлении. Эту ситуации можно предупредить, заранее согласовав цели, задачи проекта между ними, а также определив, какие именно подразделения бизнеса и в какой степени будут затронуты проектом. Обеспечение сбора и качества данных Отдельной задачей в рамках BI-проекта является решение вопросов сбора и обработки исходных данных. Необходимо продумать, какая информация будет задействована для обработки запросов и формирования отчетов сейчас, какие данные могут потребовать в дальнейшем, с какой частотой необходимо синхронизировать данные, а также как будет осуществляться детализация, консолидация, очистка данных. В настоящее время очень немногие организации, использующие BI, тщательно продумывают и обеспечивают необходимое качество данных. Однако именно корректность данных является необходимым условием для принятия верных и своевременных управленческих решений, что в конечном итоге является мерилом качества созданного BI-решения. Зачастую считается, что проблема очистки данных должна по умолчанию решаться средствами BIсистемы. Бытует также и противоположный подход, когда задача обеспечения качества данных полностью перекладывается на плечи сотрудников подразделений, поставляющих исходные данные или же использующих BI. Между тем, это задача комплексная. Часть BI-платформ имеют в своем составе инструменты для контроля качества данных, однако даже их не всегда бывает достаточно. Иногда требуется внедрение отдельных продуктов для интеграции и очистки данных, а решение этой задачи выливается в самостоятельный проект. Выбор решения Не стоит выбирать такое решение, которое превосходит потребности компании существенным образом. Если в проекте задействованы только 30-40% возможностей системы, значит, упущена реальная возможность добиться ROI меньшими затратами. Также распространенной ошибкой, которую допускают многие компании, внедряющие новые технологии, является ПЕРЕкастомизация системы. Не стоит забывать, что главной целью всех усилий должно оставаться предоставление точной и достоверной информации на наиболее рациональной основе. Отправку отчетов на смартфон со встроенными изображениями можно настроить и позднее. Управление BI-проектом Задача управления проектом является ключевой для большинства организаций, внедряющих BI, особенно когда дело доходит до ИТ-ресурсов. BI-технологии зачастую выходят за рамки устоявшегося в компании подхода к внедрению бизнес-приложений. Дело в том, что для работы BI системы необходимы информационные ресурсы, которыми располагают разные 33 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 подразделения. В процессе извлечения этих данных и доставки их в хранилище могут возникнуть трудности. Чтобы избежать их, необходимо следовать таким рекомендациям: Рассмотрите возможность назначения определенного сотрудника с определенным уровнем ответственности за всю BI-инициативу, который будет получать отчетность от ИТ-специалистов и бизнес спонсоров относительно всей активности по проекту. Учредите специальную программу по поддержке этой организационной инициативы. Назначьте выделенного специалиста, ответственного за аналитическую отчетность, в каждой функциональной области, который будет контролировать соответствие отчетов плану и процесс их производства. Степень его компетенции должна быть довольна высока, но может быть уменьшена по мере «дозревания» BI-среды. Обсудите с высшим руководством перспективы развития BI системы и ее поддержки. Инициализируйте сбор аналитической информации с помощью как вертикальных, так и горизонтальных коммуникационных схем. Пользовательский аспект Business Intelligence Как бы ни была хороша BI-система сама по себе, успех проекта обеспечивают пользователи. Чтобы сотрудники компании «приняли» новую систему, их надо, во-первых, вовлекать на начальных этапах в процессы формулирования задач и целей, оценки и выбора программного продукта и внедряемых инструментов, а во-вторых обучить всем возможностям созданного решения. Выбор правильного момента для проведения обучения – один из необходимых компонентов успешного внедрения. Если провести обучение слишком рано, задолго до того как система введена в эксплуатацию, то пользователи не смогут соотнести приобретаемые ими знания с решением своих конкретных повседневных задач, а кроме того успеют забыть все объяснения к моменту запуска системы. Если же провести обучение слишком поздно, то пользователи будут тормозить и саботировать внедрение непонятного и пугающего их своей новизной и сложностью программного продукта. Оптимальным моментом для проведения обучения, пожалуй, является период непосредственно перед стартом или в самом начале эксплуатации системы. Проблемы адаптации BI-систем находятся не в области грамотной организации данных и технологий, а в области управления персоналом и преодоления культурных противоречий. Любые перемены, как правило, первоначально вызывают неприятие, и необходимо время, чтобы пользователи привыкли, приспособились к новым процессам. Кроме того, необходимо создать и контролировать соблюдение системы правил, которые не позволят пользователям вернуться к своим прежним, привычным способам работы в обход новой системы. Оценка эффективности системы Оценка окупаемости BI-решений – задача сложная и не имеющая на сегодняшний момент стандартных общепризнанных решений. Бытует мнение, что просчитать возврат инвестиций от внедрения BI в течение начального периода использования практически невозможно, поскольку основные преимущества станут очевидны лишь в долгосрочной перспективе. Для оценки потенциальной успешности BI-проекта эксперты предлагают изучать аналогичные внедрения в других компаниях и сравнивать их результаты с собственными целями и задачами. 34 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Российский рынок BI систем Российский рынок BI Рынок BI-систем России и стран СНГ (лицензии и услуги) в 2012 году преодолел отметку в 43,125 млрд рублей, что на 25% больше, чем годом ранее (34,5 млрд рублей). Темп роста рынка несколько замедлился против 35% в 2011 году, но все еще остался довольно значительным, опережающим темпы роста рынка ИКТ в целом и других сегментов рынка делового ПО. 2012 Данные TAdviser По данным TAdviser, рынок BI-систем России и стран СНГ (лицензии и услуги) в 2012 году преодолел отметку в 39,675 млрд рублей, что на 15% больше, чем годом ранее (34,5 млрд рублей). Темп роста рынка замедлился против 35% в 2011 году, но все еще остался довольно значительным, опережающим темпы роста рынка ИКТ в целом и других сегментов рынка делового ПО. Секрет успеха систем бизнес-анализа на российском рынке объясняется тем, что проникновение их все еще довольно невелико. Вместе с тем, актуальность бизнес-анализа в сложные для экономики страны и мира моменты не только не ослабевает, но и усиливается, так как потребность компаний опираться на качественные данные при принятии решений и выработке стратегии только растет. В 2011-2012 годы вендоры продолжили работу над развитием как мощных BI-платформ, так и простых, действенных систем анализа, что сделало аналитические инструменты доступными для всех категорий пользователей, в том числе для среднего и малого бизнеса. Кроме того, особенность российского рынка внедрений BI состоит в том, что единицы компаний внедряют платформы бизнес-анализа во всей полноте функционала абсолютно для всех процессов. Напротив, наиболее распространен подход, когда в одной компании действует несколько изолированных систем бизнес-анализа, порой даже не разных платформах, покрывающих разные задачи в пределах отдельных подразделений и департаментов. В банках, например, количество действующих BI-систем может доходить до 10-15 штук. Причем такие заказчики, уже на практике оценившие преимущества бизнесанализа, не останавливаются на достигнутом, инициируя новые и новые внедрения, что во многом составило основу «второй волны» BI-внедрений в 2011-2012 годах. В конце 2012-2013 года начала активно формироваться «третья волна» внедрений BI, связанная с освоением российскими компаниями новых подходов к хранению и анализу данных. Сейчас в России начаты десятки тестовых внедрений и пилотов в области big data и вычислений в оперативной памяти, многие из которых перейдут в категорию полноценных внедрений в 2013 году. С технологической точки зрения российский рынок BI не испытывает ни малейшего отставания от мирового в плане доступности передовых технологий, но освоение их только начинается. 35 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Наличие «второй волны» внедрений BI подтверждают и данные собственной базы TAdviser. В собственной базе проектов TAdviser число зарегистрированных внедрений составило 1178 за всю историю наблюдений (на май 2013 года), что в 1,5 раза больше, чем в начале 2011 года, когда в базе было 790 проектов. Напомним, что с 2010 по 2011 годы рост проектов в базе был более чем двукратный. На российском рынке на начало 2013 года было представлено более полутора десятков промышленных BI-платформ и множество систем анализа и отчетности, а также отраслевых решений. Среди более чем 260 BI-проектов, завершенных по данным TAdviser в 2012 году, половина пришлась на платформы QlikView, IBM Cognos, SAP BusinessObjects, Contour BI, Prognoz Platform, еще 130 проектов - на другие системы и решения. Это свидетельствует о популярности данных платформ среди российских пользователей, но, конечно, не отражает в полной мере позиции одноименных вендоров на местном рынке, так как в выборке учитывается только число внедрений, а не количество приобретенных лицензий и выручка вендоров от услуг и поддержки. В связи со сложностью учета в статистике не отображено достаточно значительное количество проектов на базе Microsoft BI, Oracle BI и других. 36 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Среди внедренцев в 2012 году наиболее активны были «Прогноз» и BaseGroup Labs как вендоры, активно самостоятельно внедряющие свои же собственные платформы – Prognoz Platform и Deductor соответственно. Среди интеграторов высока была активность компаний Консультационная группа АТК, RBC Group, РДТЕХ, ФОРС и других. 37 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Доходы компаний на российском рынке автоматизации BI от продажи лицензий и услуг по внедрению, с НДС, в тыс. рублей Доходы 2012, тыс. рублей Доходы 2011, тыс. рублей Число завершенных проектов, 2012 Рост доходов 20112012, % Ключевые BIплатформы 211 45 Prognoz Platform № Компания 1 Прогноз 2 КРОК 659 739 285 601 - 231 IBM Cognos, Oracle BI, SAP BusinessObjects, QlikView 3 Микротест 505 600* 439 704 Более 2* 15 - 4 Техносерв Консалтинг 240 000 135 000 9 77,8 Oracle BI, SAP BusinessObjects, IBM Cognos 5 БАРС Груп 147 801 93 516 30 58 БАРС.WebСводы,БАРС.Система Показателей 6 РДТЕХ 145 380 234 390 12 -38 Oracle BI, SAP BusinessObjects, QlikView 7 Парма-Телеком 104 776 115 675 12 -9,5 SAP BusinessObjects 8 ФОРС 98 747 73 160 9 35 Oracle BI, Oracle Hyperion Planning 9 Консультационная Группа АТК 94 843 61 254 48 54,8 QlikView, Tableau 10 Вест Концепт* 58 650 51 000 - -15% Microsoft BI 11 Норбит 48 982 74 880 3 -36 Microsoft SharePoint, SAP BusinessObjects - - - Всего 3 861 023 2 663 408 5 725 781 4 227 588 TAdviser,2013 *По собственным данным TAdviser 2011 Данные TAdviser По данным TAdviser, рынок BI-систем России и стран СНГ (лицензии и услуги) в 2011 году преодолел отметку в 34,5 млрд рублей, что на 35% больше, чем годом ранее (25,5 млрд рублей). В 2012 году участники рынка ожидают закрепления позитивных тенденций 2011 года, дальнейшей диверсификации рынка и роста числа проектов. Отражением роста российского рынка BI-систем является увеличение числа проектов в базе данных TAdviser: с момента выхода исследования 2011 года за чуть более чем год их количество возросло с 335 до 790 (более чем в два раза). Причем большая часть вновь добавленных в базу проектов это проекты, реализованные за 2011 год. 38 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 TAdviser, 2012 В базу данных TAdviser заносятся все проекты, когда-либо реализованные в области BI в России. Однако данные базы корректируются год от года в большую сторону и требуют существенных пояснений. Так, согласно данным базы, по числу внедрений лидирует на данный момент платформа Prognoz Platform (217 проектов) от Прогноз, на втором месте Deductor от BaseGroup Labs (138 проектов), на третьем месте – QlikView от QlikTech (86 проектов). Эти данные не отражают реальную расстановку сил на российском рынке BI платформ. Это связано в первую очередь с проблемой учета в базе проектов внедрений, данные о которых не раскрываются по коммерческим соображениям. Тем не менее, в портфелях некоторых присутствующих на российском рынке вендоров BI решений число таких «скрытых» проектов достигает не редко 50% и даже 80-90%. Если учитывать BI проекты, реализованные в России за все годы, в том числе «скрытые», то по состоянию на начало 2012 года абсолютным лидером по числу внедрений является Prognoz Platform. По данным TAdviser, всего у этой платформы в России более 800 клиентов (данные с 2006 года по настоящий момент), число внедрений на российском рынке превышает 1950. В 2011 году на базе Prognoz Platform в России реализовано 504 проекта (на 35% больше, чем в 2010 году). Также существенно укрепились позиции Prognoz Platform на мировом рынке BI систем. Всего с 2006 года в мире на базе этой платформы реализовано более 220 проектов за рубежом, из них почти половина, 98 проектов, в 2011 году. Число клиентов Prognoz Platform на зарубежных рынках – около 150. Успехи российской платформы в 2011 году была замечены Gartner: впервые она была включена в исследование Magic Quadrant и помещена в квадрант нишевых игроков (подробнее в статье Глобальный рынок BI). На втором месте по числу внедрений в России с большим отрывом находится платформа Qlikview. По собственным данным TAdviser, число внедрений Qlikview, реализованных на данный момент в России, более чем в два раза превышает число публично анонсированных проектов. Таким образом, их общее количество – более 150. Впрочем, у QlikTech в отношении российского рынка достаточно амбициозные планы, так что число проектов по результатам 2012 года может резко возрасти. «За прошедший год мы 39 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 практически удвоили количество партнеров в России», - рассказал TAdviser Алексей Артеменко, региональный директор QlikTech по России и СНГ. Кроме точечного расширения канала продаж, по его словам, QlikTech собирается собственными силами более активно работать с сегментом крупного бизнеса. «То есть с сегментом, где у нас есть громкие успехи в Европе и США, и где у нас огромный потенциал в России», - добавил он. На третьем месте по числу внедрений на местном рынке расположена еще одна платформа российской разработки – Deductor от BaseGroup Labs. Число проектов в базе TAdviser (138 проектов) соответствует реальному количеству внедрений этой системы в России. В первую пятерку по итогам 2011 года также без изменений вошли IBM Cognos и MicroStrategy BI. Важное значение имеет и тот факт, что в тройке лидеров на российском рынке BI в 2011 году оказались две платформы отечественной разработки, при том первое месте занимает также российская система. Это является еще одним свидетельством самобытного пути развития рынка бизнес-анализа в России, так что вендорам, занимающим первые позиции на глобальном рынке BI, пока не удалось установить над ним полный контроль. Это значит, что в и дальнейшем у местных разработчиков есть хорошие шансы сохранить за собой значительную долю рынка. По данным собственной базы проектов TAdviser, значительное число проектов BI в России реализовано следующими системными интеграторами: «Прогноз», BaseGroup Labs (обе занимаются внедрением собственных платформ), «Консультационная группа АТК», RBC Group. TAdviser, 2012 40 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Доходы некоторых системных интеграторов на российском рынке BI № Компания Доходы 2011, тыс. рублей Доходы 2010, тыс. рублей Рост доходов 2010-2011, % Доход 2009, тыс. рублей 1 Прогноз 2 663 408 1 959 151 35,9 1 472 900 2 Микротест 439 794 370 360 18,7 241 137 3 КРОК 285 601 257 522 10,9 184 208 4 Ситроникс ИТ 222 700 104 100 213,9 45 093 5 Барс Груп 93 516 48 953 91 3 574 6 ФОРС - Центр разработки 73 160 42 750 71,1 22 457 7 Консультационная группа АТК 61 254 48 767 25,6 35 501 8 Вест Концепт 51 000 45 000 13,3 38 000 TAdviser, 2012 *Учитываются все доходы «Прогноз», как в России, так и на международном рынке **В сумму включены только доходы в России без Украины и других представительств «Ситроникс ИТ». Согласно полученным TAdviser данным о доходах основных российских системных интеграторов, активно занимающихся внедрением BI систем, все они без исключения в 2011 году отметили прирост доходов от этого направления деятельности. Максимальный прирост показала компания «Ситроникс ИТ» (более 213% к 2010 году, всего 222,7 млн рублей). Данные IDC В 2011 году российский рынок программного обеспечения бизнес-аналитики составил более $360 млн. в ценах поставщиков, а рынок услуг по построению решений в данной области более $440 млн. в ценах конечных пользователей, по данным исследовательской компании IDC. В пятерку лидеров поставщиков программного обеспечения в области бизнес-аналитики вошли исключительно международные компании - SAP, Oracle, IBM, Microsoft и SAS, в то время как пятерка лидеров по оказанию услуг включает в основном российские компании («Прогноз», SAP, IBS, AT Consulting, «Терн»). В исследование также включены результаты опроса ИТ-специалистов о влиянии различных факторов на развитие рынка ВА в России. На рисунке представлены факторы, которые, по мнению специалистов, стимулируют его развитие. Экспоненциальный рост объемов информации, усиление конкуренции, необходимость ускорения процесса принятия все более сложных управленческих решений, повышение общей культуры в области ИТ, а также возрастающая активность поставщиков в продвижении аналитических инструментов отмечаются в исследовании в качестве главных стимулов развития рынка решений бизнес-аналитики в России. В 2012 году IDC прогнозирует устойчивый рост данного рынка в России. Роль бизнесаналитики как инструмента корпоративного управления будет возрастать. 41 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Факторы, способствующие росту рынка бизнес-аналитики в России IDC, 2012 Интересно, что согласно более ранним данным IDC, которое распространило не российское, а европейское подразделение исследовательской компании, в 2011 году объем российского рынка BI (только лицензии на ПО), достиг $230 млн. По сравнению с 2010 годом рынок вырос почти в 2,5 раза: тогда он равнялся $100 млн, говорилось в отчете[2]. Внушительные темпы роста рынка в 2010 году, когда один из его сегментов (решений для конечных пользователей, отчетов и базовых аналитических систем - в терминологии IDC) показал 200% роста в сравнении с годом 2009, также сохранились и в 2011 году. 42 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Причем российский рынок BI, преодолев в 2010 году отметку в $100 млн, перешел в «следующий эшелон» региональных рынков систем для бизнес-анализа данных. По прогнозам IDC, в среднесрочной перспективе российский рынок BI будет расти в объеме на 15-17% ежегодно. Расхождения в этих цифрах вызваны тем, что для оценки российского рынка BI в предыдущие годы IDC использовала данные исследования по рынку корпоративных приложений (Enterprise Application Software и, в частности, данные исследования Russia Enterprise Application Software 2010-2014 Forecast and 2009 Vendor Shares), отдельного исследования по рынку BI в России IDC тогда не выпускала (по состоянию на март 2012 года, первое такое исследование вышло в июле 2012 года). В рамках же выше названного исследования оцениваются приложения, поставляемые вендороми в комплексе. Например, к таковым относятся системы компаний Oracle и SAP. Однако, в этом исследовании не учитываются так называемые best-of-breed решения, то есть самостоятельные специализированные системы, вес которых на рынке, в том числе российском, нельзя недооценивать. В частности, к таковым относится, например, система Prognoz Platfrom российского разработчика «Прогноз», которая по данным TAdviser, является лидером на российского рынка BI систем. Также упомянутое исследование не учитывает доли решений IBM Cognos, SAS и многих других. 2009-2010 Если 2008 и 2009 годы большинство игроков признали временем сдержанного спроса на BIрешения, то 2010 год вернул посткризисному рынку заинтересованность заказчиков в решениях для бизнес-анализа, что позволяет игрокам делать позитивные прогнозы. Согласно данным аналитической компании IDC, в 2007 году объем российского рынка BI составил более 100 млн, а его рост превысил 60%. По итогам 2007 года, аналитики предполагали, что в ближайшие пять лет темп роста российского рынка решений для бизнесанализа составит примерно 30% в год. Более точных измерений российского рынка BI с этого момента не производилось, участники же рынка склонны оценивать его объем в пределах также $100 млн. на текущий момент. Так, например, в 2009 году в ходе сделки по поглощению компанией «Ай-Теко» компании BI Partner, объем российского рынка BI с учетом размытости его границ оценивался в диапазоне от $50 до 150 млн. Вообще 2008, и в особенности 2009 год, были охарактеризованы системными интеграторами как годы провального спроса на BI, что было связано, безусловно, в первую очередь с мировым финансовым кризисом. Согласно экспертным оценкам, в 2010 году по объему проектов российский рынок BI решений практически вернулся к докризисному этапу развития, так что по объему должен измеряться паритетными цифрами. Неоднозначную, но вместе с тем интересную информацию о темпах роста российского рынка BI-решений предоставляют данные о доходах системных интеграторов, занимающихся этим направлением. В частности, например, по отношению 2009 года к 2008-му объем BI направления компании «Микротест» снизился на 15,5%, тогда как в этот же период «КРОК» удалось увеличить доход от направления BI на 133%, «ФОРС - Центр разработки» - на 13,4%. Очевидно, это было связано с политикой компании в связи с кризисом на ИТ-рынке. 43 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Доходы некоторых российских компаний на рынке BI по итогам 2009 года № Компания Доходы 2009, тыс. рублей Доходы 2008, тыс. рублей Рост доходов 20082009, % 1 Прогноз 1 472 900 - - 2 Микротест 241 137 285 207 -15,5 3 КРОК 184 208 78 759 133 4 Ирбикон - 66 900 - 5 Консультационная группа АТК 33 501 - - 6 ФОРС (торговля) 22 457 19 800 13,4 TAdviser, 2010 В 2010 году по отношению к 2009-му году та же «ФОРС», например, заработала 26 875 тыс. рублей, что на 19,7% больше, чем годом ранее, то есть закрепила позитивную динамику. В 2010 году Консультационная Группа АТК заработала 48 768 тыс. рублей, что на 45,5% больше, чем в 2009 году. Компания Ситроникс ИТ в 2010 году повысила прибыль от BIнаправления на 88,6% с 45 млн до 85 млн рублей. Безусловно, высокие темпы роста, которых удается добиться некоторым игрокам, свидетельствует о большом потенциале российского рынка BI к дальнейшему развитию. Достоверной информации об объеме рынка BI в России нет, подтвердил Максим Андреев, руководитель направления бизнес-приложений компании КРОК. Ориентируясь на число специалистов в области BI, в КРОК оценивают рынок на данный момент в границах порядка 70-100 млн долларов. При этом стоимость лицензий составляет порядка 50% от стоимости услуг, то есть совокупный объем рынка составляет около $100 млн. «Рост объемов рынка в 2010 году однозначно есть, но он не значителен – скорее можно говорить о тенденции к восстановлению докризисных объемов. Нам кажется, что докризисные показатели рынок покажет в будущем году», - заявил Максим Андреев. По словам Кирилла Бурлюка, директора департамента бизнес-приложений "Ситроникс Информационные Технологии", в 2010 году действительно темпы роста BI-рынка несколько увеличились. Однако, он не считает, что в 2010 году рынок мог сколько-нибудь серьезно прибавить в объемах, поэтому приложил вилку в пределах $80-100 млн. Динамика BI-рынка в 2010 году была очень позитивной, отметил также и Андрей Терехов, руководитель BI-направления Консультационной Группы АТК. «Уже в конце 2009 мы ощутили повышение активности на рынке, а в течение 2010 года тенденция укрепилась, и сейчас можно говорить о достаточно устойчивом росте рынка бизнес-приложений как с точки зрения масштаба проектов, так и с точки зрения их количества», - заявил эксперт. «Усилия бизнессообщества в 2009 году были направлены на минимальную экстренную оптимизацию бизнесс-процессов. Если говорить о 2010-м, то он стал логичным продолжением сформировавшейся в 2009 году потребности в системах бизнес-анализа», - считает также и Андрей Замыслов, руководитель практики Microsoft BI компании NaviCon Group (Навикон). 44 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Причем если в кризисной ситуации компании ограничивались созданием аналитических приложений по наиболее критичным бизнес областям – это, как правило, были продажи и финансы, иногда операционная деятельность, то в 2010 году большинство проектов по бизнес-аналитике затрагивало гораздо больше областей. История развития российского рынка business intelligence-продукции Первые попытки внедрения BI-систем Первые попытки внедрения BI-систем в России были предприняты в конце девяностых годов прошлого века. Спрос же на эти технологии начал стабильно расти с 2000 года, когда во многих организациях накопились значительные объёмы информации и началось переосмысление IT-рынка в принципе. В те годы популярностью пользовались BI-решения на базе систем, предлагаемых Microsoft и Navision Software. Популяризация BI-систем в России Наиболее высокий темп развития рынок BI-продукции начал набирать в 2005 году, а к 2006 году эксперты оценивали рост внедрения таких решений среди российских компаний на уровне 50 % в год и более, тогда как мировой рост находился на отметке 11,5 % в год. Росту рынка информационных систем в те годы способствовало ускорение процесса интеграции России в мировое сообщество. В эти годы рынок обрёл прозрачность и понятность для заказчиков. Однако, российский рынок BI-систем даже в годы своего расцвета составлял незначительную часть общемирового. Влияние кризисных условий на развитие BI Сегодня, в меняющихся экономических условиях, когда затраты на ИТ будут серьёзно пересматриваться и урезаться, спрогнозировать спрос на BI в России крайне сложно. Возможно, что и без того немногочисленные проекты такого рода вообще будут заморожены, и до момента восстановления экономической стабильности речи об инновациях в управлении эффективностью бизнеса не будет идти в принципе. Существует и обратное мнение — кризис отнюдь не замедлит и не «заморозит» рынок BI — напротив, компании, оказавшиеся в непростых условиях, прибегнут к комплексному анализу данных по всем направлениям бизнеса, чтобы сохранить его, повысить эффективность и снизить издержки. 45 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Российский BI: отраслевая специфика В 2012-2013 году на авансцену BI-внедрений опять выдвинулись компании финансового сектора. Это связано с большим числом проектов по внедрению новых аналитических технологий и хранилищ данных, которые были реализованы за последние 18 месяцев. В России же традиционно бизнесы с высокой маржинальностью, такие как финансовые услуги, телеком и ритейл, первыми осваивают передовые технологии информатизации. TAdviser, 2013 46 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 TAdviser, 2013 Лидеры по числу внедрений В течение последних лет стабильный интерес к BI-решениям в России наблюдается в типично высоко конкурентных отраслях, таких как ритейл, финансы, дистрибуция, ТЭК, фармацевтика и телеком. Это связано с тем, что финансовые, торговые, фармацевтические и телекоммуникационные компании накопили значительные массивы данных (десятки терабайт) и, благодаря современным BI-решениям, могут интегрировать их для эффективного анализа и принятия решений. BI-система помогает таким компаниям не только улучшить управляемость, но и получить конкурентные преимущества, повысить клиентоориентированность. 47 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 По собственным данным TAdviser, в ТОП-10 отраслей по числу внедрений BI систем в России по итогам 2012 года входят (в порядке убывания числа проектов): финансовый сектор, торговля, госсектор, пищевая промышленность, здравоохранение и фармацевтика, телекоммуникации, энергетика, транспорт, образование и наука, десятое место занимает строительство и промышленность стройматериалов. Причем первая тройка (торговля, финансы, госсектор) лидирует с отрывом от других вертикальных рынков по числу проектов более чем втрое. Интересно, что в пределах тройки отраслей-лидеров эксперты TAdviser вот уже который год не наблюдают изменений: ее состав одинаков. В то же время, если в 2011 году по числу внедрений первое место заняли торговые компании, то в 2012 году - финансовые компании, к которым в терминологии TAdviser относятся банковские, инвестиционные организации, а также страховщики. Согласно данным базы TAdviser, за всю историю наблюдений по май 2013 года в разных вертикальных отраслях по числу реализованных проектов выделились свои ведущие интеграторы. Например, в отрасли финансов и госсекторе по количеству внедрений лидирует Прогноз, в торговле - BaseGroup Labs, в пищевой промышленности и здравоохранении - RBC Group. Наиболее крупные проекты, по данным TAdviser, в 2011-2012 годах реализовывались в госсекторе, финансовой отрасли и ИКТ. Наиболее крупным внедрением последних лет (из числа тех, информация о которых доступна открыто) стало внедрение системы на платформе Oracle BI на 30 тыс. пользователей в Сбербанк РФ, а также сопоставимое по масштабу внедрение Prognoz Platform в Министерстве здравоохранения РФ. Также был реализован крупный проект в Министерстве финансов РФ на 25 тыс. пользователей на платформе «БАРС». В пятерку крупнейших также вошли проекты в ВТБ24 на базе Oracle BI и в «Росимуществе» на базе Prognoz Platform: в обоих этих проектах по 20 тыс. пользователей. Отраслевая специфика BI Что касается специфики спроса, то среди финансовых компаний высока потребность в мощных инструментах выверки формируемой отчетности с целью реализации гибких стратегий аудита деятельности компаний. Однако отраслевая специфика данного сектора предъявляет высокие требования к функционалу предлагаемых в секторе BI решений и профессиональному уровню консалтинга. Банки проявляют спрос к системам управления рисками, формирования отчетности для регулятора, моделирования финансовых потоков и финансового состояния банка. Для крупных розничных компаний и торговых сетей критично важно решить такие задачи как выявление закономерностей формирования спроса, сегментирование потребления по реакции на изменение цены, на маркетинговые акции или на определенные продукты, прогнозирование и факторный анализ. От их оперативного решения часто зависит выживаемость компании в условиях жесткой конкуренции. В госсекторе системы бизнес-аналитики активно используются для оценки эффективности деятельности органов власти, что связано с повышенным вниманием государства к качеству управления на всех уровнях. Кроме того, BI применяется для мониторинга и контроля реализации государственных программ и проектов, анализа и прогнозирования показателей развития экономики и отдельных отраслей. Активное применение BI системы находят и в области здравоохранения. 48 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Крупные по числу лицензий внедрения BI-систем в России 2011-2012 Заказчик Отрасль Интегратор Система Число лицензий Стоимость проекта (тыс. рублей) 1 Сбербанк РФ Финансы Техносерв Консалтинг Oracle BI 30000** - 2 Министерство здравоохранения РФ Госсектор Прогноз Prognoz Platform 30000* До 100 000* 3 Министерство финансов РФ Госсектор БАРС Груп Барс.Бюджетная отчетность 25000 - 4 ВТБ24 Финансы Техносерв Консалтинг Oracle BI Publisher 20000** - 5 Федеральное агентство по управлению госимуществом Госсектор Прогноз Prognoz Platform 20000* До 100 000* 6 УИКТ Архангельской области Госсектор БАРС Груп БАРС.Эффективный регион 1875 - 7 АльфаСтрахование Финансы Консультационная группа АТК QlikView 1559 7 140 8 ГКУ СО «ЦУП» Самарской области Госсектор БАРС Груп БАРС.Эффективный регион 1055 - 9 Департамент экономической политики и развития города Москвы Госсектор Прогноз Prognoz Platform Более 1000* 150 000 10 Сбербанк РФ Финансы AT Consulting SAP BusinessObjects 1000* - 11 Tele2 Россия ИКТ САПРАН SAP BPC 600 - 12 Уралсиб ФК Финансы Техносерв Консалтинг Oracle BI 500 - 13 Департамент финансов Томской области Госсектор БАРС Груп Барс.Бюджетная отчетность 384 - 14 МИАЦ Алтайского края ИКТ БАРС Груп БАРС.Мониторинг здравоохранения 379 - 15 Лукойл Оверсиз Нефтегаз Парма-Телеком SAP NetWeaver BW 360 - 16 Pernod Ricard Rouss Пищевая промышленность Консультационная группа АТК QlikView 223 - 17 ВТБ Страхование Финансы Консультационная группа АТК QlikView 125 2 248 18 Сколково ИКТ NaviCon Group (Навикон) IBM Cognos TM1 100 - 19 Протек-СВМ Фармацевтика NaviCon Group (Навикон) IBM Cognos TM1 100 - 20 Казатомпром НАК Добыча ископаемых Техносерв Консалтинг SAP BusinessObjects 100 - № * По собственным оценкам TAdviser ** Указано число пользователей, тип лицензии в данных проектах - unlimited TAdviser, 2013 Спрос на BI проявляет активизировавшийся после кризиса сектор производства товаров массового потребления. Здесь системы Business Intelligent используют для анализа 49 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 производственных издержек, «чувствительности» маржинальности к изменению затрат, сопоставления плановых затрат и прогнозируемых продаж в сочетании с корректирующими факторами на основании фактических объемов продаж. Впрочем, независимо от масштабов бизнеса, решения, относящиеся к классу BI, востребованы фактически везде. Но наибольшей интерес к ним сегодня в сегменте Enterprise, как наиболее зрелом с точки зрения востребованности ИТ и зависимости от них ключевых бизнес-процессов. Здесь более высокой адаптации BI также, как правило, способствует наличие больших массивов данных, разнородных источников информации, потребность в четком управлении бизнеса по KPI. Однако, именно в секторе среднего и малого бизнеса (СМБ) стоит ждать BI-бума, считают опрошенные TAdviser эксперты. Такие компании развиваются достаточно агрессивно и уже осознали, что аналитика в Excel и жестко стандартизованные отчеты из ERP их не устраивает ни по объемам информации, ни по оперативности доступа к ней. При этом в СМБ BI-проекты уже можно называть масштабными, поскольку львиная часть ИТ-бюджетов во многих компаниях идет именно на системы бизнес-аналитики. Типовой ход внедрения BI в средних компаниях – модульный. При таком подходе сначала решаются самые острые бизнес-проблемы: например, в ритейле – это доскональный анализ продаж и аналитика для безопасности. После решения аналитических задач первой необходимости наступает небольшой период затишья – пользователи осваивают новый порядок работы, получают первые результаты от использования BI, продолжают активное развитие бизнеса, а иногда, и агрессивную экспансию. Когда средний бизнес укрупняется благодаря правильным управленческим решениям, принятым на основе бизнес-аналитики, начинается новая фаза развития корпоративного BIинструмента. Решаются задачи по управлению товародвижением, маркетинговыми активностями, HR и так далее. Заказчики СМБ рассчитывают получить быструю отдачу от инвестиций и снизить общую стоимость владения продуктом, зачастую намереваясь в дальнейшем развивать и поддерживать его собственными ресурсами. В этом случае партнер, как правило, привлекается только на период внедрения системы, обучения ключевых пользователей и первоначального сопровождения. При этом компании среднего и малого бизнеса очень внимательно подходят к выбору продукта и готовы поступиться функционалом ради меньшей цены решения. Решение должно быть быстро развертываемым, масштабируемым, гибким по архитектуре, простым в использовании и при этом обладать достаточно обширным функционалом. 50 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Пример современного BI-решения: Prognoz Platform Prognoz Platform – это интегрированная BI-платформа с удобными инструментами для создания современных систем бизнесаналитики. Широкий спектр аналитических возможностей платформы позволяет топ-менеджерам, бизнес-аналитикам и другим специалистам эффективно работать с различными источниками данных и использовать имеющуюся информацию для принятия обоснованных решений и прогнозирования бизнеспроцессов. Первые версии платформы (тогда она называлась «Аналитический комплекс ПРОГНОЗ») появились еще в начале 90-х годов. На протяжении всей истории своего развития этот продукт задавал высокую планку в сфере разработки аналитических систем в России. Актуальная версия платформы соответствует всем требованиям международного рынка, предъявляемым к современным BI-продуктам. В 2013 году Prognoz Platform укрепила свои позиции в рейтинге «Магический квадрант платформ бизнес-аналитики» компании Gartner, ведущего мирового консалтингового агентства в сфере ИТ. Универсальность Prognoz Platform Платформа является универсальным инструментарием – как по кругу функциональных задач, так и по спектру отраслей, в которых используются решения на ее основе. Сегодня системы бизнес-аналитики на базе Prognoz Platform востребованы в корпоративном, финансовом и государственном секторах. Из наиболее актуальных задач, которые решаются с ее помощью, можно назвать формирование отчетности, планирование и бюджетирование, управление рисками. В состав Prognoz Platform входят как традиционные BI-инструменты для сбора и анализа данных, построения отчетов и статистического анализа, так и продвинутые инструменты моделирования и прогнозирования. Средства платформы обеспечивают сбор, верификацию и консолидацию больших объемов данных из разнородных источников, позволяют проводить комплексный мониторинг и анализ ключевых показателей, настраивать модели и выполнять прогнозные расчеты. Единство метаданных, модульная архитектура и современные средства интеграции делают Prognoz Platform исключительно гибким и адаптивным продуктом, который можно быстро и безболезненно встраивать в существующую IT-инфраструктуру в самых разных конфигурациях, впоследствии наращивая функционал по мере необходимости. При этом лицензионная политика компании «Прогноз» позволяет клиенту выбирать только те функциональные блоки, которые требуются ему на конкретном этапе реализации BI-проекта, тем самым значительно сокращая стоимость и сроки внедрения. Простота и доступность Основные инструменты Prognoz Platform, включая модули продвинутой аналитики, интуитивно понятны, просты в освоении и удобны в использовании. В продукте реализован принцип Self-Service BI («бизнес-аналитика для самообслуживания»), позволяющий конечным пользователям самостоятельно настраивать приложения без привлечения ИТ-специалистов. 51 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Платформа обеспечивает загрузку данных как из централизованного хранилища, так и из локальных пользовательских файлов. Блоки технологического уровня Помимо пользовательских инструментов, Prognoz Platform предлагает богатые функциональные возможности для разработчиков, в том числе блоки технологического уровня. Это средства разработки и интеграционные компоненты: конструктор хранилища данных, модуль ведения НСИ, ETL, среда разработки приложений (SDK), компоненты деловой графики, средства интеграции с социальными сетями. С их помощью можно гибко настраивать репозитории метаданных, загружать данные из внешних источников, работать с нормативно-справочной информацией. Базовый уровень инфраструктуры Prognoz Platform включает модуль администрирования и информационной безопасности, сервер приложений и web-сервисы. Платформа нового поколения В Prognoz Platform реализованы самые последние достижения сферы бизнес-аналитики, включая технологии In-Memory (обработка данных в оперативной памяти устройства), Data Mining (интеллектуальный анализу данных), Search-Based BI (построение запросов в текстовом виде), а также Collaborative Decision Making (интегрированные инструменты совместного принятия решений). Средства OLAP в Prognoz Platform Платформа включает расширенный инструментарий моделирования и построения сценарных («Что будет, если…?» и целевых («Что необходимо для…?») прогнозов. В ее составе присутствуют конструктор аналитических панелей, конструктор карт ключевых показателей (scorecards), средства оперативного анализа (OLAP) и анализа временных рядов. Для визуализации данных применяются интерактивные 3D-карты, пузырьковые диаграммы и другие современные инструменты. Стоит отметить, что Prognoz Platform «бесшовно» 52 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 интегрируется с приложениями Microsoft Office: можно не только экспортировать результаты аналитической работы в Excel, но и напрямую работать из Excel с хранилищем данных, используя аналитические возможности платформы. Поддерживается интеграция с геоинформационными сервисами (Google Maps, Яндекс.Карты и т.д.), портальными решениями (MS SharePoint, SAP NetWeaver, IBM WebSphere). Реализованы возможности использования инструментария платформы по принципу SaaS и в «облаке». Мобильные приложения на базе Prognoz Platform поддерживают динамическое отображение данных в самых разных разрезах и видах, а также работу с ними как в онлайн-, так и в офлайн-режиме. Через нативный клиент для iOS доступны инструменты OLAP, аналитические панели и средства анализа временных рядов. Одна из уникальных технологий, реализованных в платформе – это моделирование и прогнозирование через вебинтерфейс, в режиме облачных вычислений. 53 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Основные преимущества и уникальные возможности Prognoz Platform 54 расширенные возможности визуализации, анализа, отчетности, моделирования и прогнозирования через веб-интерфейс и в режиме облачных вычислений; использование продвинутых средств предсказательной аналитики и целевого прогнозирования, эффективное решение задач «что будет, если…?» и «что необходимо для…?»; использование общих метаданных во всех интегрируемых компонентах, что позволяет легко импортировать, обрабатывать и публиковать большие объемы данных; интегрированная среда разработки, которая обеспечивает возможность быстрого создания кастомизированных приложений; гибкие средства управления безопасностью и администрирования. Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Главные тенденции рынка BI в России В 2012 году российский рынок продолжил активное внедрение систем бизнес-анализа данных. Причем росло как количество внедрений, преимущественно простых систем отчетности и анализа, так и качество: были реализованы более продвинутые внедрения в области предикативного анализа, создания мощных хранилищ данных, начались тестовые внедрения в области управления большими данными и вычислений в оперативной памяти. В 2011 году эксперты говорили о том, что российский рынок меняет парадигму внедрения – от простых аналитических систем в пользу более сложных и глубоких систем анализа. Отчасти в 2012 году этот прогноз оправдал себя, но в 2012 году идея гениальности всего простого снова оказала сильнейшее влияние на рынок в переродившемся качестве: поистине массовым стало освоение систем мобильной аналитики и систем типа data discovery, заточенных под конечных пользователей. Модель доступной аналитики «в кармане», аналитики «нескольких кликов» оказалась настолько близка бизнесу, что все больше и больше потенциальных заказчиков BI-систем делают запросы интеграторам именно на внедрение таких решений. «Вторая волна» BI-внедрений Особенность российского рынка внедрений BI состоит в том, что единицы компаний внедряют платформы бизнес-анализа во всей полноте функционала абсолютно для всех процессов. Напротив, наиболее распространен подход, когда в одной компании действует несколько изолированных систем бизнес-анализа, порой даже не разных платформах, покрывающих разные задачи в пределах отдельных подразделений и департаментов. В банках, например, количество действующих BI-систем может доходить до 10-15 штук. Причем такие заказчики, уже на практике оценившие преимущества бизнес-анализа, не останавливаются на достигнутом, инициируя новые и новые внедрения, что во многом составило основу «второй волны» BI-внедрений в 2011-2012 годах. В конце 2012-2013 года начала активно формироваться «третья волна» внедрений BI, связанная с освоением российскими компаниями новых подходов к хранению и анализу данных. Сейчас в России начаты десятки тестовых внедрений и пилотов в области big data и вычислений в оперативной памяти, многие из которых перейдут в категорию полноценных внедрений в 2013 году. С технологической точки зрения российский рынок BI не испытывает ни малейшего отставания от мирового в плане доступности передовых технологий, но освоение их только начинается. BI в массы В 2013 году тренд «аналитика для всех» закрепится и в перспективе способен произвести небольшую революцию на рынке бизнес-анализа в России. Если вендоры смогут предложить достаточно развитые и, главное, доступные аналитические инструменты для бизнеспользователей, в том числе мобильные и предоставляемые по модели SaaS, то все большее число компаний будут выбирать такие средства BI для решения своих повседневных бизнесзадач. Именно в этом сегменте рынка можно ожидать достаточное число внедрений в ближайшие три года, так что к 2015 году российский рынок BI сможет наконец достигнуть зрелости. 55 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Справедливости ради, стоит отметить, что подавляющее большинство компаний российского рынка все-таки пока переживают этап покупки первых систем BI. Однако, в течение следующих двух-трех лет квалификация заказчиков BI- решений будет стремительно расти, так что и интеллектуальные инструменты BI систем будут становится более востребованными. Но до большого количества такого рода проектов в России все еще очень далеко. Ольга Горчинская, руководитель исследовательских проектов и направления Big Data компании «ФОРС», отмечает, что востребованность BI-систем растет с каждым годом все больше, причем в компаниях практически любых отраслей. «Из просто «правил хорошего тона» проекты по внедрению BI-систем превратились в четко оформившуюся на рынке потребность»,- считает она. Ольга Горчинская говорит, что среди секторов особенно заметными игроками становятся госучреждения – ФОРС выполнено уже несколько крупных проектов по созданию хранилищ данных в крупных министерствах и ведомствах. Андрей Розанов, руководитель направления BI компании РДТЕХ, подтвердил, что стабильно растет спрос на аналитику у представителей среднего бизнеса. Екатерина Лозовая, директор компании «Терн», заявила, что хотя средний бизнес смотрит на внедрение серьезных аналитических решений с большим скептицизмом, уже сейчас неоспоримым фактом является то, что от решения задач анализа в Excel малый и средний бизнес отказывается в пользу специализированных аналитических приложений. «Третья платформа» Критическую массу изменений, произошедших в отрасли информационных технологий за последние несколько лет, аналитики IDC удачно охарактеризовали переходом к «третьей платформе» (the 3d platform). Подразумевается, что первую компьютерную платформу исторически образовали мейнфреймы, вторую – традиционные компьютеры клиентсерверной архитектуры. Третья платформа — это совокупность мобильных, социальных и облачных технологий и больших данных, которая определяет парадигму дальнейшего развития всей ИКТ отрасли в целом. 56 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 На рынке бизнес-анализа влияние третьей платформы уже сейчас ощущается очень сильно. Рост феномена big data и неструктурированных данных привел к разработке и развитию новых технологий обработки и хранения информации, в том числе баз данных типа Hadoop и обработки в оперативной памяти (in-memory). Как уже было сказано выше, мобильные инструменты BI также активно развиваются, облачные BI-решения ждут своего часа. В России системные интеграторы отмечают интерес к in-memory технологиям обработки данных (IBM Cognos TM1, QlikView) и специализированным аналитическим СУБД (Oracle Essbase, Sybase IQ, Teradata, Greenplum, SAS). Это соответствует мировым трендам на рынке BI. Такие решение находят свой спрос прежде всего среди компаний, работающих с большими объемами данных – финансы, ритейл, телеком и так далее. Владимир Коровкин, руководителя практики BI компании «Астерос Консалтинг», заявил, что наиболее затратной частью общего BI-контура в компании является хранилище данных, так что серьезный рост рынка невозможен без увеличения спроса на них. Вероятно, компании будут стремиться перейти к «оперативной аналитике» или «процессам, основанным на данных» (data-driven processes), это потребует новых архитектур в хранении (ранее такой подход реализовывали лишь интернет-компании), пояснил эксперт. Дэшборды и визуализация Востребованными инструментами на российском рынке остаются средства интерактивного анализа – нерегламентированные запросы и информационные панели (дэшборды). По словам эксперта ФОРС Ольги Горчинской это означает, что заказчиков все больше начинает интересовать возможность не только увидеть отчет, но и в интерактивном режиме перейти к детализации, быстро получить ответы на новые вопросы и таким образом понимать причины возникающих проблем и своевременно принимать управленческие решения. Среди других технологий, которые сопровождают почти любой проект – пространственная аналитика, позволяющая использовать в качестве инструмента анализа географические карты, и «активная» аналитика, интегрирующая бизнес-анализ с бизнес-процессами. В целом в контексте движения аналитики «в массы» визуальные средства представления данных играют все большую роль при выборе решения. Развитые средства визуализации данных стали неотъемлемой частью корпоративных BI-платформ. Некоторые вендоры, такие, например, как Tableau, именно визуализацию сделали краеугольным камнем своих аналитических систем. Предикативный анализ и data mining Наиболее востребованной возможностью BI-систем был и остается анализ данных. К базовым возможностям, которые актуальны всегда, относятся OLAP, отчетность, быстрое представление необходимой информации в различных срезах, простота и наглядность пользовательского интерфейса. Однако сегодняшним пользователям часто уже недостаточно средств так называемого традиционного BI, и все более востребованными становятся инструменты продвинутой аналитики: моделирования и прогнозирования ситуации, оптимизации, выявления зависимостей. По мнению участников рынка, более заметным становится интерес к углубленной аналитике статистике и data mining. Несмотря на то, что говорить о большой востребованности углубленной аналитики пока рано, уже есть примеры ее успешного внедрения, и в ближайшие годы популярность этих средств будет несомненно расти, считает Ольга Горчинская. 57 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Спрос на прогнозную аналитику растет как со стороны государственных учреждений, так и корпоративных клиентов. Использование аналитических инструментов прогнозирования и моделирования ситуации позволяет строить комплексные модели, учитывающие внутреннюю и внешнюю среду организации, что значительно повышает качество прогнозных оценок. Во многом это способствует развитию услуг по созданию так называемых ситуационных центров, в которых BI-системы прогнозирования и моделирования становятся одним из главных компонентов. Тенденция будет меняться, полагает Дмитрий Харлашко, заместитель руководителя Департамента систем бизнес-анализа и разработки ПО «Парма-Телеком», по мере того, как в BI-системах будут накоплены достаточные объемы данных для полноценного анализа на большом промежутке времени, и пользователи постепенно уйдут от комплекта отчетных форм к анализу информации. Дмитрий Рыбаков, заместитель руководителя департамента SAP компании «Норбит, отмечает рост спроса на решения класса data mining. «Это относительно новое, но весьма перспективное решение», - заключил он. Облачные и open source проекты Российский рынок BI-систем также следует общемировым тенденциям в развитии технологий облачных вычислений/SaaS. Однако, по мнению большинства опрошенных TAdviser экспертов, пока спрос на cloud BI больше находится в стадии становления: пока подобных проектов в России мало. Если же говорить об уже реализованных облачных BI-проектах, они, в большинстве своем, обладают точечным функционалом, несопоставимым с полноценным BI-проектом. Тоже самое относится к BI с открытым кодом – для России эта бизнес-модель пока слишком сложна. За 2010-2011 год трудно вспомнить более-менее крупное внедрение Open Source BI в России. Эксперты полагают, что одна из причин – достаточно слабый маркетинг достойных решений Open Source BI на российском рынке. СМБ, как потенциальный потребитель BIрешений с открытым кодом, знает пока немного о преимуществах Open Source BI, поэтому в большей степени доверяет коммерческим BI-системам. Интересно, что с облачным BI уже успешно работают некоторые интеграторы, например, КРОК. Максим Андреев, руководитель направления бизнес-приложений компании рассказал TAdviser, что КРОК сейчас разворачивает в своем «облаке» сервис BI для дистрибуторских компаний и ритейла. Благодаря этому решению торговая точка сможет по «клику» получать медиану цен всех точек сбыта дистрибутора по каждому продаваемому товару и правильно устанавливать собственные наценки на товар. А дистрибутор - максимально объективно оценивать работу торговых точек и стимулировать повышение эффективности, разрабатывая соответствующие маркетинговые кампании. В КРОК рассчитывают, что начиная с 2013 года бОльшую востребованность приобретут и open source решения. Но это не означает использование бесплатных продуктов с высокой долей кастомизации, а предполагает использование наработок за счет массового включения open source решений в продукты крупных вендоров. Развитие отечественных продуктов Несмотря на большую популярность BI западных вендоров в России также растет популярность отечественных продуктов. Нельзя сказать, что конкуренция на рынке настолько высока, что между западными и отечественными игроками существуют серьезные трения, но, тем не менее, отрадно, что отечественная экспертиза в области бизнес-анализа данных растет. Достаточно сказать, что российская платформа Prognoz Platform от Прогноз уже 58 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 второй год подряд попала в магический квадрант Gartner, что означает признание веса системы не только на российском, но и международном рынке. Помимо реального сектора Prognoz Platform также активно используется в госсекторе. Сильными местными решениями являются Deductor от BaseGroup Labs и «Контур» от Intersoft Lab. Если западные платформы выигрывают по функциональности, универсальности, технологичности и производительности, то решения российских компаний быстрее подстраиваются под требования заказчика, лучше поддерживают национальные стандарты. Это особенно существенно для госсектора, где отечественные аналитические решения используются чаще. Коммерческие компании – банки, телеком, ритейл, предпочитают западные BI-платформы, пояснила эксперт ФОРС Ольга Горчинская. 59 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Мобильная аналитика Рост направления мобильной аналитики в России сопутствует росту интереса пользователей к мобильным версиям других классов бизнес-систем. По мере увеличения проникновения соответствующих аппаратных средств в корпоративном сегменте, это явление в конечном итоге обретет массовый характер. Мировой рынок Демография оказывает существенную роль на развитие мобильной аналитики: все больше пользователей внутри компаний знакомы с мобильными устройствами и интернетом со школьной статьи, так что по мере омоложения штата организаций именно они будут управлять дальнейшей консумеризацией ИТ. В Gartner прогнозируют, что 33% аналитики будет использоваться «в кармане» уже в 2013году. К концу 2012 года 55% организаций, использующих BI, уже начали или запланировали внедрение мобильных средств анализа данных. В результате уже к 2015 году соотношение мобильных и традиционных BI проектов составит 4:1. По данным исследования Dresner Advisory Services для MicroStrategy за 2012 год, с 2010 по 2012 годы роль мобильной аналитики возросла в разы. Так, количество участников исследования, уверенных в исключительной важности мобильных инструментов анализа выросло с 52% до 61% за указанные два года. Проникновение мобильной аналитики на разных вертикальных рынках неравномерно. Максимальную значимость mobile BI придают ритейлеры и прочие торговые компании, именно в этой индустрии уже существует множество позитивных примеров внедрения мобильных инструментов анализа. Достаточно низкий приоритет у мобильной аналитики, напротив, в госсекторе, хотя и здесь есть удачный опыт. Большинство участников исследования отметили уровень проникновения мобильной аналитики в своих организациях на уровне 10%, правда, здесь нужно оговориться, что в 2010 году у большинства этот показатель стремился к нулю. Довольно агрессивные планы по внедрению мобильных BI-решений у компаний при этом отмечаются вплоть до 2015 года – они показаны на диаграмме ниже. 60 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Dresner Advisory Services, 2013 В исследовании также рассматривались 25 ключевых вендоров BI, предлагающих решения мобильной аналитики. Результаты анализа этих систем представлены ниже, из максимальных 36,5 баллов наиболее высокий результат показали MicroStrategy, Yellowfin, SAP и QlikTech. Dresner Advisory Services, 2013 61 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 По данным исследовательской компании Ovum на январь 2013 года, наиболее функциональные BI решения на рынке предлагают компании MicroStrategy, Information Builders и Yellowfin, тогда как мега-вендоры вроде SAP представляют наилучшие мобильные аналитические системы для iOS-устройств. Что касается мобильных платформ, то все без исключения вендоры BI поддерживают платформу Apple iOS, на втором месте по уровню поддержки вендорами – Android (90%), затем с большим отставанием следуют мобильные операционные системы BlackBerry (50%) и Windows (33%). В отчете Ovum не учтены при этом системы, работающие под Windows 8, RT и Phone 8. По мнению Фредерика Танвалла (Fredrik Tunvall), аналитика Ovum, вне всякий сомнений успех iPad на рынке оказывает существенное влияние на продуктовые стратегии разработчиков BI. Между тем, чтобы мобильные решения бизнесаналитики достигли большей аудитории, вендорам придется также создать приложения и для платформ Windows и Android, использование которых наиболее широко в особенности на развивающихся рынках. Хотя у SAP есть определенная «фора» на рынке мобильного аналитики, обусловленная покупкой компанией Afaria, Syclo и Sybase, другие вендоры, такие как IBM, Oracle и SAS также постепенно наращивают долю на этом рынке. Чтобы поддерживать свои решения на конкурентоспособном уровне, вендоры активно будут использовать M&A стратегию, считает Танвалл. Он также полагает, что инновации на рынке BI и аналитики достигнут максимального уровня в ближайшие несколько лет. Российский рынок Рост направления мобильной аналитики в России сопутствует росту интереса пользователей к мобильным версиям других классов бизнессистем. По мере роста проникновения соответствующих аппаратных средств в корпоративном сегменте, это явление в конечном итоге обретет массовый характер. Так, по прогнозам IDC от февраля 20013 года, в 2013 году российский рынок смартфонов вырастет примерно на 15%. В IDC полагают, что российский рынок смартфонов еще далек от насыщения: тенденция роста сохранится еще два-три года, но и к 2015 году смартфоны не 62 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 займут 50% в общем объеме рынка телефонов. Доля смартфонов на российском рынке телефонов за 2012 год при этом выросла с 25% до 33%. В штучном выражении по итогам 2012 года на территории России было реализовано 12,3 млн смартфонов, сообщает J’son&Partners Consulting. Относительно показателей 2011 года рост продаж достиг 52%. В суммарных продажах доля смартфонов составила 30%. Также важную роль играет и развитие российского рынка планшетных компьютеров. По данным «Евросети», в 2012 году он показал максимальный прирост среди всей портативной электроники – 366% и 256% в количественном и денежном выражении. По разным оценкам, в 2013 году продажи планшетов могут достичь 2-3 млн единиц. Сегодня практически все крупные BI-вендоры имеют в своих линейках мобильные BIпродукты. У некоторых вендоров, например, Oracle, в мобильной версии доступен весь функционал основной версии аналитического продукта. Большинство этих решений и инструментов уже доступно российским заказчикам, что является дополнительным стимулом для развития мобильной аналитики. В отличие, например, от BI с открытым кодом, где многие серьезные решения до сих пор в России не представлены, а потому не могут быть оценены потенциальными заказчиками. Участники рынка отмечают, что если в 2011 году мобильный BI был скорее «приятным дополнением» к основному проекту, нежели средством первой необходимости, то в 2012 году наличие такого приложения все чаще становилось общеобязательным требованием заказчиков. При этом если на первых порах основными пользователями мобильной аналитики были топ-менеджмент, инвесторы и владельцы компаний, то теперь в России реализуются проекты, где мобильная аналитика работает «в поле» - например, у представителей торговых компаний. Владимир Иткин, директор по развитию партнерской сети QlikTech Россия, подтвердил: «Сегодня уже каждый второй клиент при выборе BI-платформы и решения имеет обязательный критерий – работа на мобильных устройствах. Еще два-три года назад это было больше бонусом к платформе, чем необходимостью. Но мобильные технологии прочно вошли в нашу жизнь, и сейчас планшет в руках рядового сотрудника не является роскошью». По его словам, современный бизнес-пользователь не может больше ждать, когда отчет будет подготовлен и отправлен ему сотрудниками ИТ-службы. Он уже привык получать информацию в нужное для него время, используя интернет и средства поиска, например, Google. Запросы начинают расти, и мобильного доступа к агрегированным отчетам тоже недостаточно, назревает необходимость видеть детальный уровень данных. От этого зависит скорость принятия решения в конкурентной среде, что будет особенно важно после вступления России в ВТО. Владимир Иткин отметил и еще один интересный факт: в последнее время больше половины пилотных проектов партнеров QlikTech тестируются клиентами на мобильных устройствах. «То есть до финального принятия решения о покупке платформы, клиент хочет убедиться, что создаваемое решение не будет ограничивать его возможности в анализе при использовании на мобильных устройствах», - пояснил эксперт. Дмитрий Новиков, руководитель отдела комплексных систем автоматизации компании Softline, также отметил, что практически все заказчики Softline в качестве требования к основной платформе BI озвучивают необходимость установки мобильного клиента. Спрос на мобильную аналитику будет только расти с каждым годом, уверен он. Николай Дорогов, директор практики информационно-аналитических систем Columbus Россия, хотя и считает, что мобильные BI-системы все еще экзотика для России, все-таки уверен, что в этой области зреет мини-революция. Роман Колеченков, руководитель 63 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 направления аналитических решений «Техносерв Консалтинг», считает, что широкому применению мобильных приложений в корпоративной среде мешают политики безопасности и опасения компаний, связанные с передачей по мобильным сетям своих данных. Сергей Шестаков, заместитель генерального директора по развитию бизнеса «Прогноз», рассказал TAdviser, что компания задействует мобильный инструментарий в своих проектах очень активно. В частности, «Прогноз» создает мобильные версии ситуационных центров, систем программно-целевого управления, систем моделирования и прогнозирования. При этом решения на базе мобильной версии Prognoz Platform позволяют работать с информацией как в онлайн-, так и в офлайн-режиме: например, в самолете. Вся эта функциональность реализована и в типовом программном продукте «Электронный офис руководителя», который вендор вывел на рынок. Так что инструменты mobile BI есть не только у западных платформ. С другой стороны, добавил Сергей Шестаков, мобильная аналитика массового потребления на российском рынке практически не представлена. «Подобные решения мы регулярно создаем и развиваем для международных организаций, которые используют мобильные приложения для широкого распространения макроэкономических, экологических и других статистических данных», - поясни он. Приложения IMF eLibrary, World Bank DataFinder и различные их модификации доступны для свободного скачивания в App Store, в том числе, и в России. Эксперт «Прогноз» полагает, что подобные аналитические продукты, рассчитанные на неограниченное число конечных пользователей и ориентированные уже непосредственно на российский рынок, должны появиться в ближайшем будущем. Примеры в действии В качестве примера реализации mobile BI можно привести мобильное приложение для iPad на базе Prognoz Platform, которым пользуется руководство Федеральной налоговой службы России. С его помощью отображается подробная информация о деятельности подразделений ФНС, оперативные показатели по налоговым поступлениям, задолженностям, которые формируются в информационной системе ведомства. Это приложение руководитель налоговой службы России, в частности, использовал, отчитываясь перед премьер-министром РФ. Также Дмитрию Медведеву недавно было представлено решение, созданное «Прогнозом» для мониторинга инвестиционной деятельности в Северо-Кавказском Федеральном Округе. Оно включает, в том числе, инвестиционный портал СКФО и его мобильную версию для iPad, которая содержит информацию для инвесторов об инвестиционных возможностях и площадках региона, а также о существующих мерах государственной поддержки и уже реализуемых на Северном Кавказе инвестпроектах. В региональном управлении очень распространено использование приложений для iPad – количество администраций субъектов федерации, заказывающих нам подобные решения, исчисляется десятками. К примеру, руководство Липецкой области одним из первых стало применять мобильные технологии в ежедневной работе, используя их для доступа к единому хранилищу всей региональной информации. В ИАС Липецкой области сегодня действует более 20 тематических подсистем (по территориальному развитию, сельскому хозяйству, социальной поддержке, энергосбережению и др.), на основании которых сводные аналитические материалы предоставляются руководителям региона посредством электронных планшетов. 64 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Пример использования мобильных BI-инструментов в корпоративном управлении – информационно-аналитическая система контроля и управления энергосбережением «Сибур Холдинг». В нее входит централизованное хранилище данных по энергоэффективности всех предприятий холдинга, доступ к которым топ-менеджмент предприятия получает с помощью мобильных устройств. При этом руководителям доступны сводные показатели как по холдингу в целом, так и по каждому предприятию в отдельности. Мобильный BI успешно внедрен и уже приносит свои плоды в ОАО «Сургутнефтегаз» и в «Газпром Нефтехим Салават». 65 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Системы хранения данных в аналитике К системам хранения в бизнес-аналитике предъявляются особые требования. Рост проектов по внедрению систем бизнес-анализа данных и технологий Big Data спровоцирует серьезный спрос на СХД, так что сегмент систем хранения данных для аналитики и Big Data будет расти в 1,5 раза ежегодно до 2016 года. Мировой рынок По данным IDC от апреля 2013 года, спрос на технологии и сервисы Big Data напрямую влияет на рынок систем хранения данных, являющихся ключевыми компонентами решений для работы с «большими данными». Именно поэтому в период с 2011 по 2016 год рынок систем хранения для аналитических решений продемонстрирует небывалый среднегодовой темп роста – 53%. Поскольку количество данных, генерируемых, обрабатываемых и помещаемых в хранилища продолжит стремительно расти, системы хранения останется одним из наиболее затратных компонентов инфраструктуры решений Big Data и аналитических решений, полагает автор исследования Ашиш Надкарни (Ashish Nadkarni). Выручку от продажи СХД конкретно на рынке Big Data и аналитики (BD&A) вырастет с $379,9 млн в 2011 году до $6 млрд в 2016 году. Рост расходов на СХД в аналитике будет стимулировать также и то обстоятельство, что все больше компаний обращаются к обработке новых источников данных, в целом меняя подход в работе с данными от поиска к data discovery, так что расходы на инфраструктуру данных и платформы data organization растут. В ходе опроса IDC, проведенного в первом квартале 2013 года, 68,6% компаний назвали именно производительность ключевым фактором при выборе архитектуры системы хранения. На второе место по значимости пользователи поместили стоимость (59,5%). 31% опрошенных отметили, что пока не ведут проектов по созданию инфраструктуры для систем бизнес-анализа, но планируют начать таковые в ближайшие полгода. Российские реалии Создание хранилища данных составляет одну из основных статей расхода BI-проекта. До 7090% бюджета проекта создания системы бизнес-анализа может затрачиваться именно на организацию корпоративного хранилища данных (КХД). При этом затраты на сами по себе аналитические приложения по сравнению с этими затратами невелики и в части стоимости лицензий, и в части услуг по технической части внедрения. Роль хранилищ данных в BI проектов велика не только с учетом финансовых соображений: КХД является фундаментальным элементом для системы бизнес-анализа, без которого последняя просто не будет работать. Как признают опрошенные TAdviser эксперты, примерно в 50% проектах внедрений BI-систем возникает необходимость видоизменить или кардинально перестроить хранилище данных. Основные причины: недостаточная полнота 66 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 имеющейся в хранилище информации по отношению к требованиям нового BI-решения, а также проблемы производительности, для решения которых необходима оптимизация, а иногда и перестройка хранилища данных. Главные требования к хранилищам данных – высокое качество содержащейся в них информации, достоверность и согласованность данных, их полнота и независимость от приложений, - рассказала Ольга Горчинская, руководитель исследовательских проектов и направления Big Data компании «ФОРС». Последнее время по мере роста размеров хранилищ и увеличения числа пользователей BIинструментов, к этим стандартным требованиям добавляется высокая производительность, масштабируемость, доступность информации. В архитектуре хранилища и программноаппаратной платформе должна быть заложена возможность его оптимизации. Кроме того, важно использовать лучшие практики, рекомендации и современную методологию построения хранилищ данных. Для оценки технических требований к системе лучше привлечь специалистов вендора, особенно при разработке конфигурации аппаратного обеспечения,- считает Ольга Горчинская. Андрей Розанов, руководитель направления BI компании РДТЕХ, говорит, что если BI-проект подразумевает построение аналитики, основанной на данных из большого количества различных источников, то в данном случае сложно обойтись без построения хранилища данных. Основными требованиями к такому хранилищу являются: правильно спроектированная архитектура; отраслевая логическая и физическая модели данных; процессы периодического обновления данных и проверки их качества. «Накопленный опыт построения подобных систем говорит о том, что очень важно с самого начала проекта уделить особое внимание качеству загружаемых и впоследствии анализируемых данных. Для этого необходимо предусмотреть использование в процессе загрузки и преобразования данных выполнение различных процедур проверок данных с возможностью последующего анализа результатов их работы», - пояснил Андрей Розанов. Екатерина Лозовая, директор компании «Терн», полагает, что системы построения хранилищ данных должны обязательно иметь средства очистки, чтобы обеспечивать пользователя полной и качественной информацией. «В остальном успех BI-проекта больше зависит от 67 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 задействованных в нем специалистов, как со стороны поставщика, так и со стороны заказчика», - добавила она. На российском рынке в достаточной степени представлены все передовые технологические решения для создания корпоративных хранилищ данных, однако, проблемы в таких проектах нередки. Связаны они в первую очередь с неверной организацией архитектуры самого хранилища и основных принципов его работы, так что все без исключения системные интеграторы советуют выбирать для таких проектов опытного партнера. Максим Андреев, директор департамента бизнес-приложений КРОК, заявил, что, по мировой статистике, до половины проектов хранилищ данных в итоге признаются не успешными. «Ошибки в таких неудачных внедрениях похожи: хранилище создается не под запросы бизнес-пользователей, а под доступные виды данных. В этом случае работает принцип «Давайте посмотрим, какая у нас есть информация, и соберем ее в хранилище». КХД создается, но очень быстро его мощность съедается растущими неорганизованными запросами пользователей, которые «ищут черную кошку в темной комнате». В результате возникает хаос. Мне, например, известна ситуация, когда бэклог аналитических запросов пользователей составлял полтора года», - рассказал эксперт. Что необходимо сделать для корректной работы КХД и работающей поверх него системы? Если хранилище уже используется, появляется хорошая возможность проверить, насколько успешно выполнялся практически всегда декларируемый принцип о том, что при внедрении хранилища данных должны учитываться бизнес-требования, - советует Николай Дорогов, директор практики информационно-аналитических систем, Columbus Россия. Допустим, что все они учтены и согласованы с требованиями, предъявляемыми к внедряемой поверх хранилища системе BI. При таком оптимистичном сценарии понадобится лишь оптимизация на уровне хранилища, небольшие доработки, уточнение алгоритмов рассчитанных на уровне хранилища данных показателей. Нередко бывает и так, что данные хранилища не используются, не проверены бизнес-пользователями, и оно (хранилище) становится фактически бесполезным, когда дело доходит до применения данных в видимой всеми BI-системе. По возможности следует объединять задачи по внедрению хранилища данных и BI-системы в один проект. Общий этап анализа позволит учесть при проектировании решения реальные бизнес-требования. В свою очередь, придирчивое тестирование данных в хранилище с помощью BI-инструментов повысит вероятность того, что пользователи будут в дальнейшем оперировать правильными, востребованными бизнесом сведениями. При этом не нужно стараться сделать так, чтобы хранилище охватывало сразу все функциональные области, пытаться поместить в него все доступные данные. Лучше использовать итерационный подход, при котором после каждой итерации в хранилище будет храниться ограниченный, но максимально выверенный бизнес-пользователями набор качественных данных, полагает Николай Дорогов. Максим Андреев советует в первую очередь выяснить, как будут использоваться данные и создать концепцию в области отчетов и аналитики, разделив данные по приоритетам, по типам пользователей, по скорости реагирования на запрос. После того, как продуманы и описаны процессы использования хранилища, остается логическая и техническая работа, которая имеет гораздо больше шансов на успех. Ольга Горчинская, напомнила, что нужно всегда помнить о качестве данных и заранее продумать и спроектировать процессы консолидации, согласования и проверки корректности 68 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 данных, не забывать о решениях класса Master Data Management и использовать специализированные средства очистки и стандартизации данных. Наконец, необходимо обращать внимание на системные характеристики хранилища, возможность масштабирования, высокую производительность при загрузке данных и при работе с информацией большого числа пользователей. 69 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Data discovery Data discovery относительно молодой термин, но некоторые промышленные BI-платформы, такие как QlikTech, например, уже построили вокруг него свою маркетинговую стратегию. Такие решения стали очень популярны у пользователей в 2012 году благодаря простоте работы и доступному интерфейсу. Data discovery в мире Data discovery рассматривается Gartner как альтернативный подход к созданию аналитических решений по сравнению с традиционными промышленными системами бизнесанализа. Решения типа data discovery предлагают пользователям интерактивный графический пользовательский интерфейс, базирующийся на архитектуре in-memory, что соответствует запросу бизнеса на простые и быстрые в работе BI-системы. Широкое проникновение на рынок подобного рода решений впервые было названо аналитиками трендом в 2010 году, и с тех пор он не утратил своей актуальности. Главные отличия между традиционными BI-системами и системами типа data discovery по версии Gartner Ключевые покупатели Главные поставщики Подход Пользовательский интерфейс Использование Внедрение Промышленные BI-платформы Системы data discovery ИТ-службы Бизнес Мега-вендоры Небольшие быстро растущие компании Вертикально-ориентированный (сверху вниз), семантические слои, запросы к существующим репозиториям Вертикально-ориентированный (снизу вверх), mushup, помещение данных в выделенные репозитории Отчеты, KPI панели, сетки Визуализация Мониторинг, создание отчетов Анализ Осуществляют консультанты Доступно пользователям Gartner,2012 Разрыв между промышленными BI платформами и системами типа data discovery продолжает увеличиваться, поскольку бизнес-пользователи находят преимущества от использования data discovery столь удовлетворяющими, что выбирают их несмотря на риск фрагментации данных и инструментов, считают в Gartner. Это еще больше усиливает необходимость для ИТ-служб отойти наконец от приверженности единому вендору и заняться построением более прагматичного портфолио аналитических приложений, отмечают аналитики этой компании. 70 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Gartner настаивает на том, что пока нет смысла в разделение data discovery и business intelligence на два разных рынка, поскольку пользователи чаще всего используют такие продукты не как взаимозаменяемые (А вместо В или В вместо А), а как взаимодополняющие (А+В). Наибольшую адаптацию на рынке имеют три платформы data discovery - QlikTech, Tibco Software (Spotfire) и Tableau Software. По данным Gartner, они являются лидерами как в этом сегменте, так и одними из ведущих поставщиков на мировом рынке бизнес-аналитики в целом. Однако, если рассматривать сегмент data discovery отдельно, здесь присутствуют и другие небольшие, но вместе с тем примечательные игроки. Трое из низ, Endeca (приобретенная Oracle в конце 2011 года), Advizor Solutions и Quiterian, по всем параметрам могли войти в Magic Quadrant 2012 года, но не смогли преодолеть минимальную планку по доходам. При этом поставщики промышленных BI платформ все же медленно адаптируются к реалиям data discovery. Так, в 2011 году ряд из них выпустили или анонсировали выход продуктов в этой категории: здесь уместно привести в пример MicroStrategy Visual Insight, Microsoft PowerView и IBM Cognos Insights. Покупка Oracle компании Endeca также сигнализирует о внимании корпорации к этой области. По оценкам аналитика Gartner Риты Саллам (Rita Sallam), бумом data discovery во многом управляет … демографический рост. Поколение «миллениума» (20-30 летние в настоящий момент) сейчас составляет до 20% численности компаний, но к 2020 году их будет уже 40%. 71 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Выпускники высших школ в 2011 году провели все годы за партой с перманентным доступом к интернету. «Они не знают мира, без постоянного контроля над информацией на кончиках пальцев», - пояснила свою мысль Саллам. «Когда представителям этого поколения предлагаешь отправиться в библиотеку, они смотрят на тебя так, словно ты советуешь им извлечь квадратный корень из 1058 на абаке», - сказала она. Эти молодые сотрудники компаний продолжат управлять консумеризацией ИТ, в том числе и тем, каким образом доставляются результаты BI. Им необходимо, чтобы бизнес-аналитика была интуитивной, социальной и коллаборативной. Такие традиционные инструменты как отчеты и ad hoc запросы будет постепенно утрачивать свою роль, им на смену придут визуализация, дэшборды и интерактивные инструменты, полагают в Gartner. По оценкам Gartner, рынок data discovery вырастет с $591 млн до $1 млрд в период с 2012 по 2013 годы. Типичные инструменты data discovery при этом представляют микс из вычислений в оперативной памяти, машапов, контрольных панелей (дэшбордов), инструментов самообслуживания и скорости развертывания. Data discovery в России Спрос на продукты класса data discovery в России растет с каждым годом. «Сегодня data discovery – это мейнстрим на рынке бизнес-аналитики: легкие приложения, позволяющие представить уже имеющиеся данные в наглядном и удобном для анализа виде, нужны всем», - подтвердил TAdviser Сергей Шестаков, заместитель генерального директора по развитию бизнеса «Прогноз». По его словам, пласт пользователей таких решений расширяется за счет представителей среднего бизнеса: им интересны BI-решения, которые могут использоваться без расширения штата ИТ-специалистов. Кроме того, простота и легкость продуктов data discovery привлекает менеджеров высшего и среднего звена крупных корпораций, которым не требуется углубленная аналитика, а нужно просто «на лету» построить тренд, сформировать нужный отчет, подготовиться к презентации. У платформы, которую реализует «Прогноз», Prognoz Platform, наиболее востребованы инструменты подготовки отчетов, упрощенной аналитики, построения аналитических панелей без привлечения ИТ-специалистов. «Эта возможность обеспечивается общей логикой интерфейса, который понятен большинству пользователей офисных приложений. Работа мобильной версии платформы также построена по принципам, схожим с большинством iOSприложений, – простота не в ущерб функциональности», - пояснил Сергей Шестаков. На принципах data discovery строится еще один продукт «Прогноза» - Prognoz. Data Portal. Он представляет собой простой и удобный онлайн-инструмент поиска и анализа социальноэкономических данных, реализованный в формате SaaS. Prognoz. Data Portal содержит информацию из 200 авторитетных российских и международных источников, которая обновляется с частотой от 1 дня до 1 месяца, и гибкие аналитические инструменты для работы с ней. Обширные данные мировой и национальных экономик автоматически загружаются, приводятся к единообразному виду и структурируются по отраслям и рынкам. Еще один крупный игрок на российском рынке data discovery – QlikTech. «Мы не только согласны с тем, что аналитическое решение должно быть простым в использовании, но и создали свой продукт QlikView, руководствуясь этим правилом. Наш подход мы назвали Business Discovery, но это не копия термина data discovery от аналитической компании Gartner, который появился позже. На сегодня около 50% мирового рынка data discovery 72 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 принадлежит QlikView», - отметил Владимир Иткин, директор по развитию партнерской сети QlikTech Россия. Максим Андреев, руководитель направления бизнес-приложений компании КРОК, которая уже работает с платформой QlikView, также считает, что data discovery уже сегодня достаточно популярны на российском рынке. «Эти решения будут развиваться и в будущем – благодаря системным интеграторам. Заказчикам выгодно покупать этот сервис у профессионалов, нежели растить компетенции у себя», полагает он. Еще одна мощная платформа этого типа, доступная российским пользователям - Oracle Endeca Information Discovery. Она предназначена для совместного анализа структурированной и неструктурированной информации с расширенными возможностями интуитивного поиска. Endeca позволяет решать задачи, связанные со сложным и нечетко определенным поиском, получать важные факты из самых различных источников, включая социальные сети, интернет-ресурсы, сложные текстовые документы. Решения, построенные на основе Endeca, могут использоваться в страховых компаниях, банках, органах юстиции, службе по борьбе с терроризмом, политологии и так далее. К примеру, рассказала Ольга Горчинская, руководитель исследовательских проектов и направления Big Data компании «ФОРС», с помощью этого инструментария на основе анализа сообщений в социальных медиа можно делать прогнозы о случаях проведения несанкционированных мероприятий или нарушения общественного порядка. Использование технологий Data Discovery очень часто связано с использованием огромного объема текстовой информации, добавила эксперт. И здесь необходимо иметь в виду еще один класс инструментов, без которых невозможно работать с такими данными. Речь идет о лингвистических инструментах и специальных программных пакетах для обработки и анализа текстов. «В отличие от привычных нам интернациональных продуктов, здесь очень важна поддержка национального языка, основанная на его морфологических, синтаксических и семантических особенностях. В этом сегменте мы ориентируемся на разработки российских компаний, имеющих опыт в решении таких задач»,- добавила Ольга Горчинская. Вообще простота data discovery это только одна сторона медали, видимая пользователям. С другой стороны в основе таких платформ лежат довольно сложные технологии. Например, популярной аналитической задачей является управление оттоком клиентов. Стандартное решение – взять историю заказчиков, с помощью сложных математических алгоритмов построить модель или типовой профиль нелояльного клиента, а затем для новых клиентов определять степень близости их к нелояльным. Это очень непростое решение, оно требует участия и технических специалистов для подготовки данных, и специалиста по data mining для построения моделей. А бизнес-пользователи видят на своих экранах только результат – списки пользователей с вероятностью их оттока, и с помощью очень простых действий могут отбирать 10 самых нелояльных клиентов, смотреть о них дополнительную информацию тому подобное. Для бизнес-пользователей такое решение выглядит максимально простым. «Видимо, правильнее всего говорить о максимальном упрощении интерфейса при нарастающей сложности функциональности и архитектуры решения. Иными словами, с системой должно быть легко и удобно работать бизнес-пользователям, чтобы даже непрофессионал мог быстро получать необходимую ему информацию. Но это не означает, что системы становятся проще – напротив, они усложняются всё больше, просто пользователи не должны этого замечать и сосредотачиваться на решении своих предметных задач»,- заключила Ольга Горчинская. 73 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Исследование данных или data discovery – это действительно новое направление в области анализа. Это совсем другой подход к работе с данными по сравнению с традиционным бизнес-анализом. Опрошенные TAdviser эксперты из числа вендоров и системных интеграторов уверены, что на базе таких систем будет реализовываться все больше проектов. 74 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 «Линзмастер» растет вместе с Qlikview «QlikView – очень гибкое решение, позволяющее удовлетворить все потребности нашей компании. Благодаря этому проекту мы получили систему, которая не только в данный момент облегчает управление сетью магазинов, но и станет фундаментом для развития бизнеса в будущем», – Сергей Поздновский, руководитель группы внутреннего аудита компании «Линзмастер». О заказчике Компания «Линзмастер» на сегодняшний день является крупнейшей оптической сетью в России. Она начала свою деятельность на российском рынке в 1998 году с одного салона оптики на Никольской улице в Москве. «Линзмастер» впервые предложил российскому клиенту полный комплекс услуг – проверка зрения, подбор оправы и линз для очков, изготовление очков, продажа солнцезащитных очков и контактных линз. Компания «Линзмастер» первой на российском рынке построила оптический сетевой бренд, имеющий свою историю, узнаваемый стиль и визуализацию, многолетнюю стратегию развития, инновационные принципы менеджмента, подбора и обучения персонала, CRM и программы лояльности для клиентов. В 2010 году «Линзмастер» вошел в группу компаний GrandVision, которая является ведущим мировым лидером в оптической рознице. Сейчас в России работает около 100 магазинов сети «Линзмастер»: более 50 магазинов в Москве, более 15 – в Санкт-Петербурге, а также открыты салоны оптики в Казани, Нижнем Новгороде, Екатеринбурге, Ростове-на-Дону, Ярославле, Новосибирске, Самаре, Омске, Краснодаре, Уфе. В штате компании на данный момент работают более тысячи сотрудников. Точка отсчета Управление территориально-распределенной структурой – сложный процесс, который требует повышенного внимания от руководства компании и анализа больших объемов информации, полученной из различных источников. Компания «Линзмастер» проводит активную региональную экспансию, и жизненно важным для ее развития стало наличие точной и оперативной информации, которую может предоставить только система бизнесанализа, способная помочь принять верные и обоснованные решения с учетом существующих тенденций развития компании и рынка в целом. К моменту принятия решения о необходимости внедрения системы анализа данных в компании «Линзмастер» применялись инструменты анализа данных. Однако при получении и обработке данных из этих систем в компании сталкивались с большим количеством проблем, которые существенно усложняли работу. Среди них наиболее важными были следующие: долгие сроки разработки новых отчетов; высокая стоимость разработки новых отчетов; необходимость участия в разработке сразу нескольких специалистов (один по ETL, другой по кубам/моделям данных, третий по визуализации и т.д.); недостаточная оперативность и наглядность предоставления аналитической информации для принятия управленческих решений; 75 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 недостаточный уровень детализации данных; разрозненность одних и тех же данных в различных информационных системах; отсутствие прозрачности в алгоритмах, используемых сотрудниками для подготовки отчетности и проведения анализа. «Объемы данных, получаемых из наших региональных представительств, были просто колоссальными и увеличивались по мере расширения нашей торговой сети, – рассказывает Сергей Поздновский. – Чтобы упростить и ускорить обработку этих данных, нам была необходима система, позволяющая оперативно создавать отчеты, легкая в администрировании и масштабировании и удовлетворяющая потребности быстро растущего бизнеса». Фундамент для развития Партнером «Линзмастер» по реализации проекта по внедрению стала петербургская консалтинговая компания BI Consult. «При выборе партнера для нас было важно наличие у экспертов этой компании глубоких знаний отрасли ритейла и опыта работы с международными компаниями, к которым относится и наша компания, – прокомментировал Сергей Поздновский, руководитель группы внутреннего аудита компании «Линзмастер». – После общения с представителями BI Consult мы поняли, что данная компания может не только предложить нам отраслевое решение необходимого функционала, но и предоставить для проведения проекта специалистов, обладающих огромным опытом в постановке и организации аналитики в крупных компаниях». В качестве решения, максимально удовлетворяющего требованиям компании «Линзмастер», BI Consult предложил платформу QlikView Business Discovery. Проект по ее внедрению стартовал в январе 2012 года и проходил в три этапа. Сейчас решением пользуются 30 сотрудников в центральном офисе компании. Основным источником данных для созданной системы стала Oracle E-Business Suite, таблицы Microsoft Excel, также информация поступает из хранилища данных Oracle, куда отправляются данные POS-терминалов. За время реализации проекта в систему были загружены транзакционные данные о деятельности компании в целом и всех магазинов за 3 года. В результате «Линзмастер» получил инструменты для проведения анализа продаж в различных срезах (рынки, регионы, магазины, группы, бренды, менеджеры, каналы, магазины и пр.), детального анализа чеков по суммам, дням недели и времени суток с возможностью детализации до транзакционного уровня. Кроме того, решение позволяет анализировать сроки и эффективность исполнения заказов, эффективность проводимых акций, применения скидок, купонов и сертификатов, проводить географический анализ показателей, временной анализ эффективности магазинов. Бухгалтерия с помощью QlikView может анализировать эффективность оплат клиентови эффективность рабочего времени сотрудников на местах, своевременность и полноту данных в POS-терминалах и корректность обмена информацией между учетными системами компании. Также функционал QlikView позволяет вести учет выручки по нескольким типам признания, выявлять расхождения в данных для внутреннего и внешнего аудита. Кроме того, бухгалтерия получает аналитические данные для начисления премий и бонусов сотрудникам и выявления аномалий, ошибок и подозрительных ситуаций. 76 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Результаты проекта Одним из важнейших результатов внедрения QlikView в компании «Линзмастер» стало принятие управленческих решений на основе данных анализа аудита, это позволило изменить некоторые правила в компании и быстро находить подозрительные ситуации. Срок получения необходимой информации топ-менеджерами сократился на 60-70 % – это серьезное увеличение скорости принятия решений. Сотрудникам компании предоставлены возможности в штатном режиме работать в системе с помощью мобильных устройств (iPad и др.). Использование QlikView привело к сокращению сроков проведения аудита с одновременным увеличением эффективности аудита, а число подозрительных и ошибочных ситуаций удалось свести к минимуму. При этом если раньше ошибки находил внешний аудит, то теперь большинство проблем детектируется сотрудниками компании, что приводит к существенной экономии на стоимости внешнего аудита. В ходе проекта были устранены ошибки в алгоритмах хранилища данных и увеличен уровень детализации аналитической информации до нижнего уровня, что привело к росту эффективности пользовательской работы с получаемой информацией. В результате удалось добиться сокращения сроков разработки различных отчетов на 75-80 %, а на закрытие бухгалтерского периода стал уходить 1 день вместо двух недель, которые требовались ранее. Вклад в будущее «QlikView – очень гибкое решение, позволяющее удовлетворить все потребности нашей компании. Благодаря этому проекту мы получили систему, которая не только в данный момент облегчает управление сетью магазинов, но и станет фундаментом для развития бизнеса в будущем», –комментирует Сергей Поздновский, руководитель группы внутреннего аудита компании «Линзмастер». «Линзмастер» не намерен останавливаться на достигнутом. Уже составлен план на дальнейшее развитие BI-системы и даже сделаны первые шаги в этом направлении. К первоочередным задачам относится создание инструментария для руководства компании и приведение отчетности к международным стандартам (МСФО, GAAP), что особенно важно для компании как части международного холдинга. Также идет работа по переносу складской и логистической аналитики в систему QlikView с использованием новых возможностей и расширением старых. Завершить эти процессы планируется до конца 2012 года. В 2013 году «Линзмастер» в партнерстве с BI Consult намерен осуществить подключение к финансовой системе Microsoft Dynamics NAV. В планах на будущее организация с помощью QlikView предоставления аналитических возможностей руководителям магазинов, а также решение задач внутреннего аудита. 77 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Внедрение системы стратегического управления во Внешэкономбанке Компания «Прогноз» разработала автоматизированную систему мониторинга и контроля реализации стратегии Внешэкономбанка. Проект реализован на базе программного инструментария компании «Прогноз» – Prognoz Platform. О заказчике Внешэкономбанк является национальным банком развития России. Основной целью деятельности банка является обеспечение повышения конкурентоспособности экономики Российской Федерации, ее диверсификации, стимулирования инвестиционной деятельности путем осуществления инвестиционной, внешнеэкономической, страховой, консультационной и иной деятельности по реализации проектов в Российской Федерации и за рубежом, в том числе с участием иностранного капитала. Основная деятельность банка направлена на развитие инфраструктуры, инноваций, особых экономических зон, защиту окружающей среды, на поддержку экспорта российских товаров, работ и услуг, а также на поддержку малого и среднего предпринимательства. Методологическая основа проекта Стратегия Внешэкономбанка предусматривает создание системы стратегического управления, включающей организационные, методологические и информационные решения. Методологической основой системы стратегического управления является сбалансированная система показателей (ССП), которая обеспечивает перевод миссии и стратегии Внешэкономбанка в набор ключевых показателей эффективности (КПЭ), значение которых можно контролировать. Для автоматизации процессов мониторинга и контроля стратегии необходимы современные средства аналитики и формирования отчетности. Цель проекта Цель разработки – обеспечение руководства Внешэкономбанка информацией о плановых и фактических значениях КПЭ банка и его самостоятельных структурных подразделений, о ходе реализации стратегических инициатив (более 100 мероприятий и проектов плана реализации стратегии), направленных на достижение стратегических целей Внешэкономбанка, а также о значениях основных финансовых и нефинансовых показателей деятельности Внешэкономбанка. Основные трудности На текущий момент во Внешэкономбанке определено более 400 основных финансовых и нефинансовых показателей деятельности подразделений банка и более 300 КПЭ банка и самостоятельных структурных подразделений. Ряд показателей представлен с различными аналитическими разрезами, например, по отраслям, регионам и т.д. 78 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Ключевые особенности проекта В 2012 году в интересах Внешэкономбанка специалистами компании «Прогноз» был разработан программно-технологический комплекс мониторинга и контроля реализации Стратегии развития банка на основе сбалансированной системы показателей и автоматизированного хранилища данных основных финансовых и нефинансовых показателей Внешэкономбанка. Проект получил название «Спектр». Программный комплекс обеспечивает просмотр ключевых показателей эффективности ССП банка и ССП самостоятельных структурных подразделений, предоставляет возможность контроля хода реализации стратегических инициатив, составляющих план реализации Стратегии развития Внешэкономбанка. Многофункциональный программный комплекс содержит инструменты для настройки алгоритмов расчета показателей, источниками данных для которых являются автоматизированные системы банка. Кроме того, система «Спектр» включает инструменты для настройки шаблонов форм и графиков для сбора данных самостоятельных структурных подразделений. Еще одна полезная функциональная возможность – мониторинг и контроль своевременности актуализации информации. Архитектура BSC Спектр Встроенная в комплекс подсистема уведомлений позволяет настраивать правила рассылки оповещений при приближении значимых событий (например, сроков сбора отчетности по показателям). Она интегрируется с внутрибанковской почтовой системой для своевременного информирования сотрудников. Система имеет два уровня для различных групп 79 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 пользователей. Интерфейс аналитика ориентирован на ввод значений показателей и данных о ходе реализации стратегических инициатив, создания аналитических отчетных материалов для предоставления руководству. Интерфейс руководителя, предназначенный для руководства банка и руководителей самостоятельных структурных подразделений, включает информационные панели мониторинга ключевых показателей эффективности, отображения стратегических карт Внешэкономбанка и его подразделений, информацию о ходе выполнения стратегических инициатив и индивидуальных целей руководителей банка. Перспективы развития системы В ходе дальнейшей работы планируется расширить возможности системы. Так, будет обеспечено формирование аналитических отчетов персонально по запросам руководства, отображение аналитических отчетов в мобильных офисах руководителей, а также отображение информации об эффективности основных бизнес-процессов. Кроме того, в планах – формирование базы знаний (с отображением аналитических отчетов в «Спектре») и создание ситуационного центра Внешэкономбанка на базе информации, содержащейся в системе «Спектр». Итоги проекта «Система стратегического управления обеспечивает представление Стратегии банка в виде поставленных целей, которые, в свою очередь, детализируются до измеримых показателей, – говорит директор Департамента стратегического анализа и разработок Внешэкономбанка Владимир Андрианов. – Внедрение системы позволяет руководству своевременно отслеживать отклонения от целевых значений и принимать решения о необходимости определенных корректировок». 80 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Внедрения BI в России: типичные ошибки Провалы BI систем в России, считают эксперты, обусловлены все теми же типичными ошибками на предпроектной стадии и на стадии внедрения: это неграмотная организация проекта, а также несоответствие функционала решения потребностям бизнеса. Есть и ряд специфических BI-ошибок. Эксперты солидарны во мнении, что ошибки при внедрении BI-систем зачастую допускаются такие же, как и при внедрении любых других бизнес-приложений, будь то система управления персоналом или система управления ресурсами предприятия. Однако, есть и специфические факторы, особенно негативно влияющие на внедрение системы бизнес-анализа: например, это низкое качество исходных данных и недостаточная производительность системы. Отсутствие заинтересованности менеджмента Наиболее частая причина неудач – отсутствие «драйвера» проекта со стороны заказчика/ Если есть «драйвер», в идеале топ-менеджер, который действительно заинтересован в качественно новом бизнес инструменте, то все остальные трудности в ходе реализации проекта – не более чем рабочие вопросы. Выбор некомпетентного интегратора Помимо традиционных проектных рисков, связанных с незапланированным расширением границ проекта, недофинансированием ряда мероприятий проекта, недостаточной вовлеченностью высшего руководства заказчика в поддержку ключевых проектных решений, зачастую серьезной проблемой является убежденность лиц, принимающих решения, во всесильности BI-платформ ведущих мировых вендоров. Доверяясь платформе с громким именем, они порой недооценивают значение компетенций компании-внедренца, ее отраслевого опыта. В итоге заказчик получает отличный BI-инструмент, но не приспособленный для решения конкретных задач бизнес-пользователей. Слабая проектная команда Стоит обращать серьезное внимание на подбор команды для реализации BI-проекта. Тем, кто внедрял и поддерживал преимущественно ERP-системы, как правило, сложно перестроится под концепцию BI. Такими специалистами должны быть профессионалы на стыке наук - подкованные в ИТ-сфере экономисты, обладающие знаниями системного анализа. Отсутствие единой терминологии Есть и особенности проектирования аналитических систем, неучет которых также может привести к сложностям на последующих стадиях BI-проекта. Прежде всего, очень важно провести комплексную систематизацию НСИ, ключевых показателей и метрик, чтобы была единая система координат для решения аналитических задач. Когда один и тот же показатель в разных формах называется по-разному, начинается неразбериха и снижается эффективность аналитической работы. 81 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Плохо проработанные требования к системе Основная причина неудач проектов возникает еще на самой первой стадии проекта, а именно на стадии управления требованиями заказчика. Современные BI- системы зачастую содержат перекрывающийся функционал и позволяют гибко выбирать архитектуру проекта. Однако такие широкие возможности выбора архитектуры требуют от заказчиков формирования как можно более полного набора требований к системе, на формирование которых необходимо время и желание (стремление) сотрудников клиента. Как показывает опыт, и того, и другого обычно не хватает. Проблема доверия к исходным данным Другой причиной неудач BI проектов, причем, на стадии их завершения, является проблема доверия к исходным данным. После завершения разработки на этапе тестирования и сдачи системы заказчику, в BI-отчетах отображаются все те проблемы исходных данных, которые культивировались на этапе внедрения учетных систем, где не уделялось особого внимания оценке адекватности учетного процесса, процедурам контроля качества данных и поддержанию единства нормативно-справочной информации. В этом случае заказчики склонны считать, что такие «неверные» данные являются результатом неправильной работы BI-системы и, как следствие, отказываются принимать проект. Выходом из данной ситуации является превентивное информирование заказчика и формирование условий этапов тестирования и ввода системы в промышленную эксплуатацию. Сопротивление инновациям Внедрение любой ИТ-системы, в том числе и BI, в первую очередь сопряжено с внедрением изменений. Если сотрудники не приемлют инновацию, а руководство не пытается повысить уровень вовлеченности персонала, BI-проект, скорее всего, потерпит крах. Однако BI – технология действительно полезная для бизнеса, и нередко бывает так, что при первом знакомстве с подходящей системой у пользователей «глаза горят». Функциональные проблемы Чаще всего губительны для BI-проекта бывают функциональные проблемы решения, к ним относятся: сложный интерфейс аналитических приложений; жесткая система анализа, отсутствие гибкости в интеграции источников; сложность и длительность разработки новых аналитических приложений; недостаточная производительность для больших массивов данных. Отсутствие доверия и завышенные ожидания Кроме традиционных ошибок внедрения BI, связанных с недооценкой роли команды внедрения, отсутствия отлаженных процедур сбора и выверки первичной информации, важной проблемой видится излишняя надежда заказчиков на коробочные решения, анонсированные разработчиками для решения широкого круга задач BI. Практика показывает необходимость длительной и непростой, зачастую процедуры доработки и модификации подобных решений. 82 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Мировой рынок BI систем Глобальный рынок BI Объем мирового рынка систем business intelligence (BI) достигнет $13,8 млрд в 2013 году, что на 7% больше 2012 года. В следующем экономическом цикле, полагают в Gartner, основным драйвером станет аналитика больших данных (Big data). Также на рынке BI продолжит играть значимую роль развитие облачные, мобильных и социальных инструментов. До 2020: прогноз По данным IDC за апрель 2013 года, мировые расходы на BI-сервисы будут в среднем увеличиваться на 14,3%, так что в 2016 году они составят $70,8 млрд. По прогнозам Gartner, до 2016 года рынок BI систем и аналитических платформ останется одним из наиболее быстро растущих сегментов мирового софтверного рынка. Среднегодовой темп роста этого рынка составит 7% в период с 2011 по 2016 годы. К 2016 году объем рынка может достигнуть $17,1 млрд. При этом рынок BI, по данным Gartner от апреля 2012 года, если рассматривать его в совокупности с хранилищами данных и аналитикой в CRM, растёт еще быстрее – на 9% в год. Если на конец 2010 года он составлял в объеме $57 млрд, то к 2014 году он достигнет $81 млрд, а к 2020 году - $136 млрд. По оценкам аналитика Gartner Риты Саллам (Rita Sallam) около 30% бизнес-пользователей уже взаимодействует с бизнес-аналитикой, к 2014 году этот показатель вырастет до 50%, а к 2020 году – до 75%. Аналитики IDC полагают, что целый ряд факторов будет способствовать дальнейшему росту рынка аутсорсинговых BI услуг. Во-первых, повсеместно отмечается нехватка квалифицированных специалистов, которые требуются для реализации BI-инициатив, в том числе математиков, непосредственно бизнес-аналитиков, специалистов по моделям данных, статистиков и научных сотрудников различного профиля. С другой стороны, развитие новых технологий и тесная интеграция BI с социальными сетями и мобильными платформами делают инструменты бизнес-анализа доступными для широких категорий конечных пользователей. Однако, конечным пользователям сложно организовывать команды внедрения, а затраты на необходимую инфраструктуру BI-систем зачастую слишком велики для этой категории клиентов. «Провал» на кадровом рынке и отсутствие необходимых фундаментальных знаний будут подталкивать все больше компаний к привлечению сервис-провайдеров для обеспечения потребностей в области бизнес-анализа в ближайшем будущем, полагают в IDC. 83 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 2012 Данные Gartner По данным Gartner от июня 2013 года, мировой рынок BI-платформ, CPM и аналитических приложений, который исследовательская компания рассматривает нераздельно, в 2012 году достиг $13,1 млрд, что на 6,8% больше 2011 года. В 2011 году, напомним, рост этого рынка составил 17%, но такой взлет не мог продолжаться бесконечно, и в целом итоги 2012 года соответствуют умеренным прогнозам, которые исследовали сообщали ранее. В Gartner выделяют пять главных динамик, которые оказывали влияние на мировой рынок BI в 2012 году: две из них негативные (это сложные макроэкономические условия и сомнения в успехе бизнес-аналитики и больших данных), третья относительно нейтральная (расходы на аналитику выходят за пределы сферы ИТ). Есть и два положительных фактора: data discovery становится мейнстримом, также бурно развиваются предложения SaaS. В пятерке крупнейших вендоров BIплатформ по объему выручки не появилось новых имен в 2012 году, а вот позиции компаний претерпели изменения: IBM и SAS поменялись местами, так что IBM заняла третье место, а SAS, наоборот, четвертое. Бизнес IBM в области BI и CPM в 2012 году вырос на 9,9% до $1,6 млрд. При этом в совокупности пять крупнейших поставщиков аналитических платформ занимали в 2012 году 70% мирового рынка. Лидером рынка осталась SAP с выручкой $2,9 млрд и 22,1% долей рынка, хотя ее рост к 2011 году составил только 0,6%. На втором месте компания Oracle, чья выручка выросла по сравнению с 2011 годом на 2% до $1,9 млрд. Microsoft, оказавшаяся на пятой строчке, показала максимальный прирост выручки в 2012 году: она увеличилась на 12,2% до $1,2 млрд. 84 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Топ-5 вендоров на мировом рынке BI 2011-2012, $ млн Вендор Выручка 2012 Доля рынка 2012 Выручка 2011 Рост 2011-2012 1 SAP 2902,5 22,1% 2884 0,6% 2 Oracle 1952,1 14,9% 1913,5 2% 3 IBM 1625,6 12,4% 1478,8 9,9% 4 SAS 1599,7 12,2% 1542,9 3,7% 5 Microsoft 1189,3 9,1% 1059,9 12,2% Другие 3861,9 29,3% 3416 13% Всего 13131,1 100% 12295,1 6,8% Gartner, 2013 По данным Gartner, в 2012 году главным трендом на мировом рынке BI стали технологии data discovery и аналитическая архитектура. Также значительный рост отмечался в сегменте аналитики в реальном времени, контент аналитики и предикативного анализа. В Gartner отмечают, что хотя системы бизнес-аналитики были в приоритете у ИТ-директоров на протяжение ряда лет, все равно на BI системы сохраняется серьезный спрос. Например, широчайшее распространение получили системы так называемой «описательной» аналитики в отрасли продажи и финансовой отрасли, однако, остается большой люфт для развития систем диагностики, прогнозирования. Компании среднего бизнеса в большинстве своем на начало 2013 года еще только приступают к внедрению BI систем. Что касается лидеров рынка, то на начало 2013 года в магическом квадранте произошли существенные перестановки по сравнению с ситуацией годом ранее. Ряд вендоров настолько упрочили свои рыночных позиции, что перешли из отряда челленджеров в квадрант лидеров. Если в 2012 году лидерами были названы Information Builders, Oracle, MicroStrategy, Microsoft, IBM, QlikTech, SAP и SAS, то в 2013 году к ним добавились Tableau Software и Tibco Software. Попасть в лидеры магического квадранта Gartner довольно сложно: системы оцениваются по ряду факторов, например, полноте функционала последнего стабильного релиза, качеству поддержки, числу внедрений и другим. Очевидно, что Tableau и Tibco за 2011-2012 годы была проделана огромная работа и сейчас эти платформы стали способны конкурировать с предложениями мега-вендоров. 85 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 В квадрант челленджеров, освобожденный Tableau и Tibco, попали LogiXML (продвинулась из отряда нишевых вендоров) и Birst, которая была включена в квадрант впервые. К нишевым вендорам отнесены те же самые компании, что и в 2012 году, с оговоркой, что к ним добавлен еще один новый вендор – Bitam. Примечательно, что российская компания Prognoz второй год подряд включена в магический квадрант BI платформ, причем ее позиции в квадранте – вплотную к границе сегмента челленджеров – оставляют многообещающую перспективу для отечественного вендора. Если сравнивать магический квадрант 2013 года с квадрантами 2010-2012 годов, то можно отметить, что количество крупных вендоров на мировом рынке BI систем и аналитических платформ фактически удвоилось за последние три года. Теперь мегавендорам противостоят множество специализированных разработчиков, которые агрессивно отстаивают свое место «под солнцем» и за счет более активного внедрения инноваций двигают вперед собственные платформы очень интенсивно. При этом остается место для появления новых лидеров. Так что в 2013 году и далее конкуренция буквально «раскалит» мировой рынок бизнес-аналитики. Объем мирового рынка систем business intelligence (BI) достигнет $13,8 млрд в 2013 году, что на 7% больше 2012 года, по данным Gartner. Рынок BI и аналитических решений стал четвертым по величине подсегментом глобального софтверного рынка, поскольку компании продолжают реализовывать проекты по внедрению систем бизнес-анализа данных и информационно-центрические проекты, а также инвестируют в автоматизацию принятия решений и аналитические инструменты. В следующем экономическом цикле, полагают в Gartner, основным драйвером станет аналитика больших данных (Big data). Также на рынке BI продолжит играть значимую роль развитие облачные, мобильных и социальных инструментов. В краткосрочной перспективе рынок может оказаться под незначительным негативным влиянием макроэкономических процессов, а также замедления циклов продаж в рамках многомиллионных BI контрактов. Так что, по сравнению с ростом рынка на 16% в 2011 году, темп увеличения этого рынка в следующие несколько лет после 2013 года будет более скромным, выраженным однозначным показателем. В Gartner отмечают, что хотя рынок BI и аналитики является достаточно зрелым, а системы этого типа оставались наиболее востребованными на протяжении последних двух-трех лет, все равно спрос компаний на них еще не до конца удовлетворен. Есть еще множество предметных областей, таких как управление персоналом, маркетинг, социальная сфера, где адаптация BI и аналитических инструментов находится пока на ранней стадии. Также в Gartner прогнозируют дальнейшее развитие и популяризацию модели «данные как услуга» (data-as-a-service). На рынке реализовано множество базовых аналитических проектов, причем на передовой таких внедрений находился в основном крупный бизнес и такие отрасли как финансы и продажи, однако, наступает время для внедрения предикативного анализа и прочих более «продвинутых» BI возможностей. Кроме того, средний бизнес и компании на некоторых вертикальных рынках только начинают рассматривать возможность использования систем бизнес-анализа данных и аналитических инструментов, так что BI будет оставаться одним из наиболее быстро растущих софтверных рынков. Рынок услуг по внедрению BI По данным Forrester Research, за последние несколько лет также значительно эволюционировал рынок сервисных услуг вокруг внедрения систем бизнес-аналитики. По состоянию на конец 2012 года эксперты этой компании выделили 12 лидеров в области BI- 86 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 консалтинга, в него вошли такие фирмы как Accenture, Capgemini, Cognizant, CSC, Deloitte, HP, Infosys, KPMG, IBM, PwC, TCS и Wipro. Ведущие сервис-провайдеры BI в мире по части стратегии Forrester Research, 2012 При этом IBM, Accenture, Deloitte, KPMG, CSC, Wipro, Infosys, Capgemini, HP, PwC, TCS и Cognizant признаны лидерами по части разработки BI стратегии. 87 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Ведущие сервис-провайдеры BI в мире по части технических навыков Forrester Research, 2012 Тогда как IBM, Accenture, CSC, Deloitte, Wipro, Infosys, HP, Capgemini, TCS, Cognizant, KPMG и PwC признаны ведущими сервис-провайдерами BI по части технических навыков и умения работать с конкретными платформами. Лидеры мирового рынка BI-консалтинга: основные характеристики Вендор Количество BI-проектов Выручка от направления BI Количество BI-консультантов 1 Accenture Более 1400 $2 млрд 9500 2 Capgemini Более 1400 $758 млн 7300 3 Cognizant 5500 $1,17 млрд 12500 4 CSC 500 $500 млн 3200 5 Deloitte 1200 $1,2 млрд 5000 6 HP 600 (клиентов) $500 млн 3500 7 IBM 20000 $2 млрд 13000 8 Infosys 1000 $560,8 млн 7005 9 KPMG 1000 (клиентов) $679 млн 2200 10 PwC 900 $600 млн 2000-3000 11 TCS 300 (клиентов) $1,02 млрд 15000 12 Wipro 450 $790 млн 8600 Forrester Research, 2012 88 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Драйверами роста спроса на услуги сервис-провайдеров на рынке BI-систем являются следующие его особенности. Во-первых, платформы бизнес-аналитики и системы анализа развиваются настолько быстро, что нередко к моменту завершения внедрения успевают устареть морально, так что контакт с профессиональными консультантами позволяет держать руку на пульсе. Кроме того, клиентам зачастую бывает трудно самостоятельно определить требования к BI-системе. Также большинство решений BI достаточно сложны, состоят из множества компонентов и требуют настройки. Успех работы системы бизнес-анализа часто также напрямую зависит от того, насколько плотно она интегрированы с ключевыми платформами и приложениями компании, так что и здесь не обойтись без помощи интеграторов. 2011 Данные Gartner Мировой рынок BI платформ, аналитических приложений и систем Performance Management (PM) достиг $12,2 млрд в 2011 году, что на 16,4% больше показателей 2010 года ($10,5) млрд, по данным Gartner. Среди других подсегментов мирового софтверного рынка BI занял второе место по темпам роста. Такой серьезный рост подкреплялся двумя ключевыми факторами. Первый состоит в том, что компании продолжают инвестировать в BI даже несмотря на сложности с бюджетами на ИТпроекты. Исследование Gartner среди ИТ-директоров от 2012 года показало, что в этом году BI останется технологическим приоритетом №1 для большинство руководителей департаментов информационных технологий. Второй фактор: смещение покупательской активности в отношении BI систем от ИТ-служб в сторону бизнес-пользователей, что обеспечивает вендорам существенный прирост выручки. Оборот мирового рынка систем бизнес-аналитики по сегментам, $ млн Сегмент Выручка 2011 Доля рынка 2011, % Выручка 2010 Доля рынка 2010, % Рост 20102011 1 Аналитические приложения и PM 1938,6 15,8 1652,6 15,7 17,3 2 BI платформы 7793,4 63,6 6703,3 63,7 16,3 3 CPM решения 2509 20,5 2156,3 20,5 16,4 Всего 12241 100 10512 100 16,4 Gartner, 2012 Все три подсегмента рынка, которые выделяет Gartner, показали в 2011 году прирост. 89 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Gartner, 2012 Мировой рынок бизнес-аналитики, по данным Gartner, остается достаточно консолидированным: пятерка крупнейших игроков продолжает аккумулировать большую его часть путем комбинаций поглощений, интеграций, кросс-продаж и другой подобного рода активности. Однако Gartner выделяет порядка 100 инновационных вендоров, которые борются за место под солнцем, так что рыночные возможности для них окончательно не исчерпаны. Выручка вендоров на мировом рынке систем бизнес-аналитики, $ млн Компания Выручка 2011 Доля рынка 2011, % Выручка 2010 Доля рынка 2010, % Рост 2010-2011 1 SAP 2883,5 23,6 2413,1 23 19,5 2 Oracle 1913,5 15,6 1645,8 15,7 16,3 3 SAS 1542,8 12,6 1386,5 13,2 11,3 4 IBM 1477,6 12,1 1222 11,6 20,9 5 Microsoft 1059,9 8,7 913,7 8,7 16 Другие 3363,8 27,5 2931, 1 27,9 14,8 Всего 12241 100 10512 100 16,4 Gartner, 2012 В целом на рынке BI платформ, аналитических приложений и систем Performance Management вендором №1 по результатам 2011 года осталась компания SAP, на чью долю пришлось 24% рынка, следом за ней - Oracle, SAS Institute Inc., IBM и Microsoft. 90 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Традиционно представление о позициях вендоров на рынке BI дает и исследование Gartner Magic Quadrant for Business Intelligence Platforms, обновленное в феврале 2012 года. При этом BI платформы в терминологии Gartner представляют собой наиболее крупный сегмент мирового рынка бизнес-аналитики, но не рынок целиком. Согласно последнему магическому квадранту, лидерами сегмента BI платформ в 2011 году стали Oracle, MicroStrategy, Microsoft, QlikTech, Information Builders, IBM, SAS и SAP. Челленджерами, то есть претендентами на лидерское звание, названы Tableau Software и Tibco Software (система Spotfire). К нишевым игрокам в 2011 году Gartner отнесла LogiXML, Actuate Software, Panorama Software, Salient Management Company, Board International, Arcplan, Targit, Alteryx, Pentaho, Jaspersoft. Примечательно, что в 2011 году Gartner впервые включила в магический квадрант российскую платформу Prognoz Platform, также поместив ее в ряд нишевых предложений, что, безусловно, является мировым признанием для отечественного программного продукта. В квадранте 2012 года нет ни одного визионера и очень мало челленджеров. Где же сосредоточены инновации? Дело в том, что они исходят в основном от небольших стартапов, которые затем быстро «впитывают» ведущие BI платформы. За последние 5 лет мегавендоры приобрели все best-of-breed продукты на этом рынке: Oracle купила Siebel и Hyperion, SAP – Business Objects, IBM – Cognos, etc. Этот тренд сохранится, и крупные вендоры будут продолжать абсорбцию инновационных продуктов в свои портфолио. Данные IDC По результатам 2011 года, по данным IDС, мировому рынку бизнес-аналитики удалось выйти далеко за пределы своего докризисного уровня: темп прироста объема глобального рынка BI составил 14,1%. По прогнозам IDC, в течение с 2011 по 2016 год среднегодовой прирост мирового рынка BI составит 9,8%, в итоге он достигнет в объеме $50,7 млрд. Основными драйверами этого роста станут внимание к такому явлению как большие данные (Big Data), а также то обстоятельство, что внедрение систем бизнес-аналитики находится на повестке дня у все большего числа топ-менеджеров. Кроме того, новые аналитические инструменты, основанные на не-реляционных СУБД, заставляют поставщиков активно работать в направлении R&D, а также слияний и поглощений, что является хорошим катализатором для рынка. Среди трех ключевых сегментов рынка бизнес-аналитики, которые выделяет IDС, наиболее быстро растущим сегментом является систем платформ хранения данных – в 2011 году он 91 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 вырос в объеме на 15,2%. На втором месте по темпам роста непосредственно сегмент аналитических приложений (13,3%), на третьем – BI системы и аналитические инструменты (13,2%). В числе других глобальных трендов на рынке бизнес-аналитики эксперты IDC выделяют рост числа сделок в области SaaS и аутсорсинга приложений. Чем больше компаний с небольшим опытом использования аналитики обращаются к инструментам подобного рода, тем больше вендорам придется делать упор на сервисную составляющую. Мировой рынок систем бизнес-аналитики (BI) в 2012 году может вырасти на 8,2% по отношению к объему 2011 года до $33,9 млрд, согласно данным исследования IDC Worldwide Semiannual Business Analytics Tracker. Это новое исследование IDС, которое будет выходить с периодичностью полгода и покрывать 12 основных сегментов мирового рынка бизнесанализа. В отчете говорится, что спрос на решения для бизнес-анализа данных будет стабильно увеличиваться, поскольку растёт осведомленность компании о преимуществах аналитических инструментов и их возможностях для принятия решений. В полугодовой перспективе из 12 основных подсегментов рынка пять достигнут в объеме более $1 млрд: сегмент отчетности и аналитики для конечных пользователей, менеджмент хранилищ данных, приложений для достижения финансовой эффективности и стратегического управления, аналитики в системах CRM, а также непосредственно сегмент хранилищ данных. Так, в первом полугодии 2011 года на них пришлось в совокупности 73% мирового рынка аналитики, при этом годовой рост совокупных объемов этих сегментов составил 13,8% выше среднего по рынку. Крупнейшим региональный рынком BI остается рынок США (41% от мирового в 2011 году), здесь ожидается рост на 8,6% в году 2012. Азиатско-Тихоокеанский регион (за исключением Японии), Центральная и Восточная Европа, Ближний Восток и Африка (CEMA), а также Латинская Америка покажут еще более высокий темп роста в 2012 году, по данным компании. В последних трех регионах на рынках порядка 15 стран рост будет двузначным. Среди более чем 300 вендоров, которые вошли в исследование IDС Worldwide Semiannual Business Analytics Tracker во всех 12-ти подсегментах, в первой половине 2011 года ведущие позиции занимала Oracle с 20% долей мирового рынка, рост вендора на этот рынке в годовом выражении также значительный – 17,9%. Ближайшими конкурентами Oracle являются SAP, IBM, SAS и Microsoft, которые в этом периоде также показали двузначный рост. В первой половине 2011 года всего 14 вендоров преодолели барьер в $100 млн выручки. Среди них также такие компании как Informatica, MicroStrategy, Infor и QlikTech. 2010 Данные Gartner В терминологии Gartner мировой рынок BI состоит из трех крупных подсегментов: это непосредственно BI платформы, CPM решения и сегмент аналитических приложений и управления производительностью. Крупнейшим сегментом при этом является сегмент BI платформ: в 2010 году на него пришлось 63,7% оборота мирового рынка бизнес-анализа. На сегменты CPM и аналитических приложений пришлось 20,6% и 15,7% объема мирового рынка соответственно. Эти пропорции остаются неизменными на протяжении последних нескольких лет. 92 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 По данным Gartner (опубликованным в апреле 2011 года в рамках исследования Market Share Analysis: Business Intelligence, Analytics and Performance Management, Worldwide, 2010), в 2010 году мировой рынок BI систем вырос на 13,4% и достиг $10,5 млрд. Доля и рост отдельных регионов на мировом рынке BI, CPM и аналитических приложений Регион Выручка 2008 Выручка 2009 Выручка 2010 Доля рынка 2009, % Доля рынка 2010, % Рост 2009, % Рост 2010, % 1 Северная Америка 4052 4264 5021 46 48 5,2 17,8 2 Латинская Америка 271 309 389 3 4 14,1 19,5 3 Западная Европа 3200 3212 3426 35 33 1,5 6,7 4 Восточная Европа 243 258 266 3 3 6,4 3 5 Ближний Восток и Африка 162 172 204 2 2 6,1 18,3 6 АзиатскоТихоокеанский регион 595 698 858 8 8 17,3 22,9 7 Япония 357 364 378 4 4 2,2 3,7 Всего 8939 9278 10522 100 100 3,8 13,4 Gartner, 2011 Крупнейшим региональным рынком бизнес-аналитики остается рынок Северной Америки, в 2010 году он вырос на 17,8% до $5 млрд., составив 48% от общемирового. На втором месте рынок Западной Европы: за соответствующий период он увеличился в объеме не столь значительно – на 3% до $3,42 млрд. Третье место по объему занимает рынок АзиатскоТихоокеанского региона (за исключением Японии), объем которого в 2010 году составил на 22,9% больше в годовом выражении - $858 млн. В совокупности на рынки США и Западной Европы в 2010 году пришелся 81% мирового рынка бизнес-аналитики. Лидирующие вендоры на мировом рынке BI по объему выручки, 2010 Gartner, 2011 По данным Gartner, четверка мега-вендоров (SAP, Oracle, IBM и Microsoft) продолжила в 2010 году усиленно консолидировать мировой рынок бизнес-аналитики, увеличив совокупную 93 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 долю на два пункта до 59%. В сегментах BI платформ и CPM они имеют совокупную долю, близкую к 2/3. Доли вендоров на рынке BI, CPM и аналитических приложений 2008-2010 Доля рынка 2009, % Доля рынка 2010, % Рост 2009, % Рост 2010, % 22 23 -1,8 16,8 1646 15 16 5,1 21,9 1325 1387 14 13 3 4,7 997 1135 1222 12 12 14 7,6 Microsoft 581 793 914 8 9 8,5 23,6 - MicroStra tegy 280 295 338 3 3 5,4 14,4 7 - FICO 302 277 288 3 3 -8,3 4,1 9 8 +1 QlikTech| 104 141 205 2 2 36 45,2 10 9 +1 Infor 147 139 151 2 1 -5,3 8,4 8 10 -2 Informati on Builders 185 156 147 2 1 -15,9 -6 11 11 - Actuate Software 117 113 115 1 1 -3,5 1,8 13 12 +1 Tibco 65 65 80 1 1 0,2 22,7 12 13 -1 Minitab 76 72 67 1 1 -5 -7,2 14 14 - Accelrys 47 48 49 1 0 2,3 3,1 23 15 +8 Tableau 13 18 38 0 0 36,9 113,5 Другие 1249 1338 1463 14 14 7,1 9,4 Всего 8939 9278 10522 100 100 3,8 13,4 Ранкинг 2009 Ранкинг 2010 Вендор Выручка 2008 Выручка 2009 Изменения 1 1 2 Выручка 2010 - SAP 2105 2066 2413 2 - Oracle 1285 1350 3 3 - SAS 1287 4 4 - IBM 5 5 - 6 6 7 Gartner, 2011 Выручка SAP на этом рынке в 2010 году выросла на 16,8% и составила $2,4 млрд (23%), доля Oracle выросла на 21,9% до почти $1,65 млрд (16%). Доля компании SAS увеличилась на 4,7% и составила почти $1,39 млрд (13%). IBM прирастила выручку на 7,6%: она составила $1,22 млрд (12% мирового рынка). Максимальный рост по объему выручки в 2010 году продемонстрировали QlikTech (ей удалось заработать $205 млр, что на 45,2% больше 2009 года) и Tableau Software (компания заработала на 113,5% больше, чем годом ранее - $38 млн). Также значительно выше среднего, на 23,6%, в 2010 году выросли доходы от продажи аналитических решений компании Microsoft, так что ей недостало немного, чтобы преодолеть миллиардный барьер. Данные IDC IDC и Gartner определяют рынок бизнес-аналитики по-разному, причем их терминология существенно отличается, так что сравнение данных Gartner и IDC было бы не в полной мере корректным. 94 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 По данным IDC, в 2010 году мировой рынок BI инструментов достиг в объеме $8,9 млрд (включая лицензии и доходы от технического обслуживания, в том числе подписку). В 2010 году рост этого рынка существенно ускорился и составил 11,4% против 2% в 2009 году. По объему выручки на мировом рынке BI инструментов в 2010 году лидировала следующая пятерка вендоров: SAP, IBM, SAS, Oracle и Microsoft, на них пришлось в общей сложности 64,9% мирового рынка в денежном выражении. На десять ведущих вендоров при этом пришлось 75,3% рынка по сравнению с 57,9% в 2003 году, что свидетельствует о его дальнейшей консолидации. Доходы вендоров на мировом рынке BI инструментов, 2008-2010, $ млн Вендор Выручка 2008 Выручка 2009 Выручка 2010 Доля рынка 2008, % Доля рынка 2009, % Доля рынка 2010, % Рост 20082009, % Рост 20092010, % 1 SAP 1574,8 1557,1 1888,4 20,2 19,5 21 -1,1 19,9 2 IBM 1555,8 1232,5 1313 14,8 15,5 14,8 6,7 8,5 3 SAS 870,5 909,5 975,2 11,1 11,4 11 4,5 7,2 4 Oracle 701,1 719,5 802,4 9 9 9 2,6 11,5 5 Microsoft 648,7 701,3 797,9 8,3 8,8 9 8,1 13,8 6 MicroStrategy 278 287,7 337,5 3,5 3,6 3,8 4,2 17,3 7 QlikTech 103,8 141,3 205 1,3 1,8 2,3 38 45,1 8 Information Builders 178 185 197,7 2,3 2,3 2,2 3,9 6,9 9 Actuate Software 105,9 103,2 107,1 1,4 1,3 1,2 -2,5 3,8 10 Panorama Software 37,6 42,1 75,8 0,5 0,5 0,9 11,9 80,1 11 Tibco 72,7 64,1 68,5 0,9 0,8 0,8 -11,8 8,8 12 Tableau 12,5 17,6 36,1 0,2 0,2 0,4 40,8 105,1 13 arcplan 31,4 29,5 33,4 0,4 0,4 0,4 -6,1 13,1 14 OpenText 25,3 24,2 25,8 0,3 0,3 0,3 -4,2 15 Fujitsu 20,2 22,3 22,8 0,3 0,3 0,3 10,1 2,5 16 Lawson Software 16,6 16,9 17,7 0,2 0,2 0,2 1,9 4,5 17 FICO 18,2 12,1 16,7 0,2 0,2 0,2 -33,5 38 18 Targit 14,4 14,7 16,1 0,2 0,2 0,2 2,2 9,4 Другие 1947,8 1887,2 1958,8 24,9 23,7 22,1 -3,1 3,8 Всего 7811 7987,8 8873,9 100 100 100 2 11,4 IDC, 2011 95 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Совокупная доля 10 крупнейших вендоров мирового рынка BI инструментов, 2003-2010 IDC, 2011 Выручка мирового рынка BI инструментов по сегментам 2008-2010, $ млн Выручка 2008 Выручка 2009 Выручка 2010 Доля рынка 2008, % Доля рынка 2009, % Доля рынка 2010, % Рост 20082009, % Рост 20092010, % Продвинутая аналитика 1512,7 1523,7 1656,1 19,4 19,1 18,7 0,7 8,7 Средства анализа и отчетности, системы для конечных пользователей 6298,4 6444,1 7217, 8 80,6 80,9 81,3 2,3 12 7811 7967,8 8873,9 100 100 100 2 11,4 Сегмент Всего IDC, 2011 Сегмент QRA в 2010 году остался традиционно превосходящим по объему сегмент продвинутых аналитических средств: по отдельности на них пришлось $7,21 млрд и $1,65 млрд соответственно. Выручка мирового рынка BI инструментов по регионам 2008-2010, $ млн Сегмент Выручка 2008 Выручка 2009 Выручка 2010 Доля рынка 2008, % Доля рынка 2009, % Доля рынка 2010, % Рост 20082009, % Рост 20092010, % Америка 3736,2 3908,5 4355,7 47,8 49,1 49,1 4,6 11,4 EMEA 3219,7 3147 3431,5 41,2 39,5 38,7 -2,3 9 АзиатскоТихоокеанский регион 855,1 912,3 1086,7 10,9 11,4 12,2 6,7 19,1 Всего 7811 7967,8 8873,9 100 100 100 2 11,4 IDC, 2011 96 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Среди регионов мира в 2010 году на мировом рынке BI по версии IDC выделился регион Америка ($4,35 млрд, рост на 11,4% по сравнению с 2009 годом). На втором месте EMEA $3,43 млрд, рост к 2009 году – 9%. По темпам роста в сравнение с 2009 годом (19,1%) их существенно опередил Азиатско-Тихоокеанский регион, хотя на него пришлось только 12,2% мирового рынка ($1,08 млрд). Данные Forrester Research В терминологии Forrester Research к рынку BI относится совокупность методологий, процессов, архитектур и технологий, которые опираются на процессы информационного менеджмента и позволяют осуществлять анализ и доставку информации, составлять отчеты и управлять производительностью. Лидеры мирового рынка промышленных BI платформ Forrester Research, 2010 Согласно данным исследования The Forrester Wave: Enterprise Business Intelligence Platforms (октябрь 2010 года), на рынке промышленных BI платформ лидировали системы IBM Cognos, Oracle, SAP BusinessObjects, Information Builders, MicroStrategy, SAS и Microsoft. К сегменту решений, имеющих прочные позиции на рынке, были отнесены Actuate Software BIRT, Spotfire, QlikTech и Panorama Software. Сегменты «претендентов» и «рискованных» игроков остались в 2010 году пусты. 97 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 2009 Данные Gartner В 2009 году Gartner оценила доходы вендоров на мировом рынке ПО для коммерческой разведки (BI), анализа бизнес-процессов и управления производительностью в $9,3 млрд, что на 4,2% выше показателей 2008 года ($8,9 млрд). Рост рынка в 2008 году относительно 2007 года был более существенным: тогда он составил 21,7%. По предварительной оценке IDC, объем мирового рынка решений для бизнес-анализа составил в 2009 году $8,1 млрд, что на 2,6% больше показателей 2008 года. По оценке IDC, в 2008 году рынок вырос на 10,6% по отношению к 2007 году и достигал объема в $7,8 млрд. Эта оценка IDC относится только к бизнес-аналитическому инструментарию и не учитывает сегмент BPM-решений. Отдельно рынок финансовых аналитических приложений и аналитических приложений для стратегического управления в 2009 году в мире составил $2,24 млрд. Расхождение с данными Gartner объясняется тем, что термин "бизнес-аналитика" на данный момент является зонтичным, и аналитические компании причисляют к нему разные классы программных продуктов. Вместе с тем, хотя обе оценки отражают замедление темпов роста рынка BI, аналитики сходятся во мнении, что положительный прирост его объема стал здоровым явлением на фоне других стагнировавших сегментов ИТ-рынка в один из самых сложных периодов истории рынка ПО. 2008 год для BI-рынка был назван «спокойным», и аналитики ожидали от 2009 года кардинальных перемен в отношении его дальнейшего развития, однако, этот прогноз оправдался не в полной мере. В 2009 году на глобальном рынке BI закрепилась генеральная тенденция к консолидации и укрупнению, которая наметилась еще в 2007 году. Тогда в результате серии крупных поглощений ушли с рынка бренды Hyperion, Business Objects и Cognos, войдя в состав компаний Oracle, SAP и IBM соответственно. В 2009 году вендоры первой пятерки по-прежнему удерживали совокупную долю рынка в 71%. Лидером рынка стала SAP с долей в 22%, с существенным отрывом за ней следуют Oracle (14,5%), SAS Institute Inc. (14,2%), IBM (12,2%) и Microsoft (7,9%). Позиции этих компаний на рынке BI изменились незначительно. Однако, IBM, Microsoft и MicroStrategy удалось заметно увеличить доходы от направления BI. 98 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 По мнению экспертов Gartner, несмотря на ярко выраженный тренд к консолидации рынка, проявившийся в минувшие годы, мировой рынок BI вместе с тем оставался в 2009 году достаточно открытым. Как большие, так и малые вендоры глобального рынка BI, предлагающие решения по требованию, open source или в «облаке», вынуждены были сосуществовать друг с другом и с новыми промышленными стандартами. Доли вендоров глобального рынка BI в 2009 году, $ млн Компания Выручка 2009 Доля рынка, %, 2009 Выручка 2008 Доля рынка, %, 2008 Рост в % 20092008 SAP 2 084,1 22,4 2 096,1 23,4 -0,6 Oracle 1 351,1 14,5 1 284,0 14,4 5,2 SAS Institute 1 324,6 14,2 1 286,6 14,4 3,0 IBM 1 135,6 12,2 996,5 11,1 14,0 Microsoft 739,1 7,9 681,5 7,6 8,5 MicroStrategy 295,0 3,2 280,0 3,1 5,4 Другие вендоры 2 392,4 25,7 2 322,3 26,0 3,0 Всего 9 321,9 100,0 8 946,9 100,0 4,2 Gartner, 2010 Несмотря на то, что пятерка крупнейших вендоров в 2009 году контролировала две трети BIрынка, интерес к решениям, которые составляли до этого периферию рынка, значительно усилился, в особенности это относится к небольшим инновационным игрокам. Поэтому конкурентную борьбу, которая разыгралась на рынке BI-решений в 2009 году, аналитики Gartner сравнивают с борьбой «Давида и Голиафа». Главным фактором, побудившим бизнес обратиться к рассмотрению инновационных платформ, стали новые экономические реалии и необходимость немедленного извлечения пользы от внедрения ИТ-систем. Вместе с тем инновационные, самостоятельные BI-вендоры заинтересовали бизнес интерактивными и графическими интерфейсами для конечных пользователей, построенными на базе архитектуры in-memory, которые обеспечивают простоту и одновременно быстроту использования систем. Эти преимущества оказались настолько значимы, что бизнес-пользователи, выбирая такие системы, осознанно шли на риск получить в конечном итоге довольно фрагментарную инфраструктуру, состоящую из различных систем и приложений. 99 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Согласно данным «Магического квадранта» Gartner, в 2009 году «визионеры» предыдущего года стали «челленджерами», то есть перешли в разряд компаний второго дивизиона, которые следуют за лидерами: это справедливо для QlikTech и Tibco Software. В этом сегменте магического квадранта в 2009 году впервые представлена компания Tableau Software. Вес этих игроков на рынке все возрастает, отмечают аналитики. Эти компании сконцентрировались на предложении инновационного функционала BI-систем, который в противовес традиционным решениям, предполагающим формирования глобальных отчетов, позволил клиентам легко осуществлять навигацию по массивам данных и визуализировать полученные результаты. Задетые успехом этого подхода, лидеры рынка вынуждены были экстренно дать адекватный ответ, что, в частности, спровоцировало вывод на рынок таких решений как PowerPivot от Microsoft, SAP BusinessObjects Explorer от SAP, IBM Cognos Express от IBM и других. В Gartner отмечают, что «зета-подобное» движение из «визионеров» в «челленджеры», а затем в «лидеры» вообще является характерным. Что касается лидеров 2009 года, то в 2010 году эффект, произведенный их ответом на вызовы «челленджеров», усилится, что, в свою очередь, может привести к дальнейшей консолидации рынка и вынудит «челленджеров» продолжать работать над инновациями. Невысокие результаты, которые продемонстрировали в магическом квандранте в 2009 году IBM и SAP вызваны тем, что эти компании еще не полностью пришли в себя после проведенных ими поглощений, тогда как Oracle, наоборот, уже удалось пережить последствия покупки и дальнейшей консолидации компаний Siebel и Hyperion. Заметным явлением на рынке в 2009 году стал также рост сегмента open-source BI-систем несмотря на то, что функциональность таких решений по-прежнему не сопоставима с крупнейшими коммерческими платформами. Этот тренд нарастал в течение последних пяти лет. Хотя бюджеты open-source BI- проектов в среднем составляют около $30 тыс. (сумма годовой подписки), некоторые контракты, предусматривающие поддержку в долгосрочной перспективе, достигают $0,5 млн, что сопоставимо со стоимостью большинства коммерческих конкурирующих решений, отмечает Gartner. Значительный рост этому сегменту обеспечили не только компании, ориентированные на экономию ИТ-бюджетов, но и сами вендоры коммерческих приложений, которые используют open-source BI для увеличения функциональности своих собственных программных продуктов. В 2009 году, по данным Gartner, все три подсегмента глобального рынка решения для бизнесаналитики продемонстрировали рост, однако, непосредственно BI сегмент развивался более высокими темпами по сравнению с CPM и BPM-системами. 100 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Объем глобального рынка BI с учетом подсегментов в 2009 году, $ млн Подсегмент Объем 2009 Доля рынка, %, 2009 Объем 2008 Доля рынка, %, 2008 Рост в %, 2008-2009 BI-платформы 5 982,4 64,2 5 706,5 63,8 4,8 CPM 1 937,1 20,8 1 869,4 20,9 3,6 Аналитические приложения и BPM 1 402,4 15,0 1 371,0 15,3 2,3 Всего 9 321,9 100,0 8 946,9 100,0 4,2 Gartner, 2010 Сегмент BI остался в 2009 году крупнейшим, составив 64,2% от совокупного объема рынка. На сегмент CPM и BPM-решений пришлось 20,8% и 15% объема рынка соответственно. Относительно 2008 года существенных изменений не произошло. Что касается позиций вендоров в отдельных подсегментах, то неоспоримое лидерство SAP в отношении BI-решений дополняется ведущей ролью, которую на данный момент играет Oracle на рынке CPM-систем, распоряжаясь портфолио приобретенной компании Hyperion. Тогда как SAS остается лидером в области аналитических приложений и BPM. В 2009 году позиции IBM укреплялись во всех трех ключевых областях, Microsoft также привлекла значительное количество пользователей за счет внедрения BI-функциональности в свою обширную продуктовую экосистему, отмечают аналитики Gartner. 2008 После года поглощений, коим прославился 2007, следующий за ним 2008 год можно назвать годом перехода. Эксперты считают, что 2009 год станет критической отметкой, на которой полная стоимость владения BIплатформой явится главнейшим фактором, а ценность инструмента в процессе принятия решений в сложных экономических условиях будет учитываться в первую очередь. Как уже говорилось выше, BIплатформы меньше подвержены влиянию экономического кризиса, нежели другие продукты. Специалисты Gartner утверждают, что сегодня практически все руководители убедились в высоком потенциале аналитических решений в плане повышения эффективности, а также в необходимости комбинировать структурированные транзакционные 101 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 данные с другими неструктурированными или полуструктурированными. Аналитики Gartner утверждают, что: «Экономический кризис покажет, какие компании обладают достаточно надежной информационной инфраструктурой, а какие нет». Согласно многочисленным прогнозам спад, наполненность рынка и консолидация скорее всего сдержат рост BI-платформ до показателей ниже 10% в год. 2008 год в области BI прошел довольно спокойно, в противовес 2007-у, когда три лидирующих поставщика BI (Hyperion, Business Objects и Cognos) были поглощены крупнейшими разработчиками платформ. Конечно, некоторые слияния имели место и в этом году, но выглядели они не так значимо. Подводя итоги года, эксперты исследовательской компании IDC подготовили отчет о состоянии рынка программного обеспечения для бизнес-аналитики. Согласно оценкам специалистов IDC, объем доходов на рынке бизнес-аналитики вырос за год на 12,7% и достиг 22,1 млрд. долларов. Уровень роста превысил прогнозы на 1,5%. Доходы от продаж инструментов и приложений управления эффективностью составили 15,4 млрд., а от платформ Хранилищ — 6,7 млрд. 2007 Год 2007 был богат на события, если говорить о мировом рынке BI. Важнейшие из них были связаны с консолидацией отрасли (покупки компаниями Oracle, IBM и SAP специализированных поставщиков Hyperion, Cognos и Business Objects). Аналитическая компания Gartner опубликовала результаты исследования рынка комплексных BIплатформ в 2007 году. Доминировавшие ранее специализированные поставщики уходят на второй план, что является очевидным последствием слияний и поглощений. За 2007 год крупнейшие поставщики ПО увеличили свою долю рынка с одной четверти до двух третей. Таким образом, все исследования сводятся к тому, что BI-платформы будут представлены преимущественно в составе крупных пакетов. Так, на первом месте осталась компания Microsoft. На втором месте оказался Oracle, которому принадлежало на тот момент 21,7%. SAP занял третье место, набрав 13,1%. Четвертое и пятое места принадлежали соответственно компаниям IBM (12,9%) и MicroStrategy (7,3%). Тем не менее, аналитические компании Gartner, IDC и Forrester постоянно пересматривают и вновь анализируют свои прогнозы на 2009 год. И продолжают, несмотря на долгосрочную рецессию, наблюдать стабильность и даже рост расходов на BI. 102 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Таксономия IDC Программное обеспечение бизнес аналитики в таксономии IDC состоит из трех блоков: 1. Приложения управления производительностью и аналитические приложения 2. BIинструментарий 3. Платформенные решения для управления хранилищем данных Более подробное деление приведено на следующем рисунке IDC, 2012 Ключевые вендоры включают следующие компании: Oracle, SAP, IBM, Microsoft, SAS, Teradata, Informatica, MicroStrategy, FICO, Adobe, Infor, Information Builders, ESRI, QlikTech, HP Autonomy. В свою очередь сегмент BI инструментов разделяется на два подсегмента. К первому относятся системы запросов, отчетов и аналитики для конечных пользователей (end-user query, reporting, and analysis - QRA), а ко второму – продвинутые аналитические системы (advanced analytics). К advanced analytics IDC относит в том числе data mining и статистических софт. К BI IDC относит как отдельные самостоятельные программные продукты, так и аналитические средства, предоставляемые вендорами СУБД (пример Microsoft SQL Server Analysis Services). 103 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Тенденции развития мирового рынка BI 2012 год на мировом рынке BI-систем стал поистине выдающимся с технологической точки зрения: огромное количество стартапов наряду с ключевыми вендорами рынка продолжили бурную работу над созданием новых методов и инструментов работы с информацией нового типа. В 2013 году эти наработки дадут обильный «урожай». Главные тенденции 2013 Развитие хранилищ данных В 2013 году окончательно стало понятно, что организации сталкиваются с большим количеством различных данных, организовать хранение которых по единому принципу практически не возможно. Большим данным необходимы хранилища наподобие Teradata или Hadoop. Стандартным транзакциональным данным достаточно Oracle или SQL Server. Так что выбор подходящих хранилищ данных для каждой компании становится сегодня задачей номер один. Неструктурированные данные Еще в 2008-2009 годы Hadoop был научным проектом. К 2010-2011 появились первые пилотные коммерческие проекты в этой области. А уже в 2012 году мы увидели значительное количество внедрений Hadoop, так что в 2013 году неструктурированные данные и их обработка окончательно становятся мейнстримом аналитики. Причем обработка таких данных все чаще происходит в реальном времени. 104 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Self- service аналитика Идея Self-service BI состоит в том, что любой бизнес-пользователь может анализировать необходимые ему данные для принятия рутинных решений. Правда, это и подразумевает, что такой пользователь имеет возможность опираться на корректные данные, причем эти данные ему доступны, а формат их использования достаточно прост для каждого. Кроме того, у пользователя должно быть решение, позволяющее создавать аналитические запросы к указанному массиву данных. Когда все эти условия соблюдены, компании получают в действительности рабочий инструмент анализа и принятия решений. По мнению Forrester, до 80% аналитических запросов должно обрабатываться именно с помощью таких решений самостоятельной аналитики. Работа с новыми типами данных Одним из следствий развития Hadoop и смежных технологий стал рост внимания специалистов и бизнеса к неструктурированным данным. К таковым, например, относятся данные сообщений электронной почты, визуальные данные, отзывы пользователей и тому подобное. Все эти категории данных существовали годами, но на них никто не обращал внимание, занимаясь преимущественно аналитикой структурированной информации. В 2011 и 2012 годах появилось множество инструментов для работы с неструктурированным данными, так что анализ такой информации станет одним из главных приоритетов в 2013 году. Рост рынка Cloud BI На рынке существует множество облачных BI решений, но пока большинство из них остаются нишевыми и не способны заменить собой основное аналитическое приложение, используемое компанией. Тем не менее, этот сегмент рынка продолжает быстро расти, и облачные BI-системы будут использоваться все большим числом предприятий, становясь таким же обычным инструментом, как другие средства совместной работы. Развитие визуальной аналитики Визуальная аналитика далеко не новость на мировом рыке BI, но на протяжении долгих лет она была компонентом сложных производительных аналитических платформ, а не инструментом массового анализа. Постепенно как вендоры, так и сами пользователи осознали, что визуализация данных может помочь любому наилучшим образом представлять и понимать данные. Так что теперь визуальные инструменты доступны массовым пользователям, а не только узкому кругу бизнес-менеджеров и экспертов. Предикативный анализ Прогнозная аналитика и предикативный анализ также утрачивают налет экзотики и все чаще используются бизнесом для решения рутинных задач. Такие инструменты позволяют компаниям лучше оценивать ситуацию на рынке и формировать стратегию и тактику продвижения на нем. Постепенно решения прогнозной аналитики будут получать все большее проникновение. Повсеместное использование мобильного BI Сегмент мобильной аналитики переживает бурное развитие, такие решения в 2013 году станут мейнстримом в области бизнес-анализа. Уже сегодня значительное число простых 105 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 сотрудников, будь то страховые агенты или менеджеры торгового зала используют планшеты для быстрого доступа к данным в своей непосредственной работе. Взаимодействие пользователей с мобильными данными все более тяготеет к аналитике и становится все более интерактивным. Совместная работа с данными Совместная работа с данными это даже не будущее, а уже настоящее бизнес-аналитики. В 2013 году инструменты совместной работы с информацией станут частью большего числа BI проектов. Бизнес заинтересован в том, чтобы вовлечь как можно большее число специалистов в рамках организации в работу с информацией и решение насущных проблем. Развитие аналитических инструментов В целом в 2013 году продолжится усердная работа вендоров и других участников рынка над развитием аналитических инструментов, как доступных и простых решений для массовых пользователей, так и сложных платформ для обработки больших и сложных неструктурированных данных, будет реализовано множество научных проектов в данной области. Можно уверенно сказать, что с технологической точки зрения мировой рынок BI достигнет расцвета своих возможностей. Главные тенденции 2012 Big Data названы одним из 10 ключевых технологических трендов по версии Gartner на 2012 год. Влияние такого явления как «большие данные» на бизнес и управление информацией невероятно широко, полагают эксперты Gartner. Предприятия вынуждены прилагать усилия для изменения своей ИТ-инфраструктуры с тем, чтобы она могла эффективно справляться с обработкой больших массивов данных. 25 лет назад идеальное корпоративное хранилище данных представляло собой централизованный репозиторий, но сейчас пришло время для изменения этого подхода. Новый тип корпоративных хранилищ Gartner описывает как «логическое хранилище данных», где практики и подходы радикально отличаются от традиционных, а архитектура и сервисы хранилища являются гибридными. 106 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Вычисления в оперативной памяти (in-memory) In-memory вычисления — это еще одна технология из ТОП-10 технологических трендов Gartner на 2012 год. Появление технологий in-memory стало ответом вендоров на роста объемов данных, обрабатываемых BI платформами и другими корпоративными приложениями. На данный момент in-memory технологии представило большинство мега-вендоров (SAP, Oracle) и другие, так что в будущем эти решения окажут значительное влияние на производительность аналитических систем и возможности их применения. Нарастающая актуальность data discovery Data discovery рассматривается Gartner как альтернативный подход к созданию аналитических решений по сравнению с традиционными промышленными системами бизнесанализа. Решения типа data discovery предлагают пользователям интерактивный графический пользовательский интерфейс, базирующийся на архитектуре in-memory, что соответствует запросу бизнеса на простые и быстрые в работе BI-системы. Широкое проникновение на рынок подобного рода решений впервые было названо аналитиками трендом в 2010 году, и с тех пор он не утратил своей актуальности. Мобильные технологии Бурный рост рынка смартфонов и мобильных компьютеров (планшетов) оказал самое серьезное влияние на мировой рынок BI платформ. По прогнозам Gartner, уже в 2013 году к 33% функций BI-систем будет «потребляться» с помощью портативных устройств. Именно поэтому в 2012 году Gartner включила мобильные возможности в качестве нового, 14-го функционального блока в свое описание обязательных инструментов BI платформ. Исследования Gartner показывают, что на данный момент уже 20% пользователей используют мобильные возможности BI. Еще 33% планируют задействовать их в 2012 году. Таким образом, к концу года более половины организаций будут располагать каким бы то ни было мобильным аналитическим инструментарием. При этом на рынке появляется все большее число мобильных BI решений, большинство из которых являются расширениями традиционных промышленных платформ, но есть среди них также и самостоятельные. Бесплатный отчет: 2012 Strategies: Putting the Intelligence in Mobile BI to Work (английский язык) Отказ от сложных решений BI среду часто характеризуют как сложную для разработки, внедрения и использования. Сложность является одной из главных причин, почему системы бизнес-анализа до сих пор не используются большим числом фирм. В области data discovery множество инноваций сосредоточено именно вокруг того, насколько просто обычным пользователям взаимодействовать с данными. Но все еще существуют достаточное количество областей, таких, например, как предикативное моделирование, которые нуждаются в существенном упрощении. В Gartner отмечают, что этот тренд только дает о себе знать, но он обязательно проявит себя в полной мере в последующие годы. 107 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 На этом процессе скажется также растущая адаптация облачных сервисов. В 2011 году 30% пользователей отметили, что они используют или планировать использовать «аналитику в облаке», но их количество медленно растёт. Аналитики IDC указывают на то, что вендорам придется поработать над простотой не только в плане архитектуры и юзабилити систем, но и процессов покупки, развертывания и использования BI платформ. Так, ответом вендоров на вызовы рынка может стать сокращение времени развертывания ПО и введение возможности приобретения софта с «меньшим шагом». Гибкие BI системы Внедрение BI стало действительно «горячей» темой для многих компаний в последние годы. Так, по данным отчета Forrester Research за 2011 год (Trends 2011 And Beyond: Business Intelligence), более 49% принявших участие в опросе компаний обозначили свои планы начать использование или расширить имеющийся функционал BI систем в ближайшие 24 месяца. Вместе с тем, расходы на BI автоматически не означают достижение успеха, отмечают аналитики. Так, зрелость BI систем предприятий по-прежнему не превышает средний уровень: этот показатель составил 2,75 пункта из 5 возможных, что всего лишь на 6% больше, чем в 2009 году. По мнению Forrester, у этого явления есть объяснение, а точнее даже три причины. Вопервых, для внедрения BI требуется использование передового опыта, с акцентом на уже выявленные в ходе проектов узкие места, что не всегда удается реализовать. Во-вторых, многие BI технологии и процессы уже не шагают в ногу с реалиями современного бизнеса, их актуальность осталась на уровне 1990-х. И, в третьих, централизованный подход к внедрению BI не привел ни к чему хорошему: он не обеспечил прозрачности процессов, напротив, привел к дублированию процессов и данных, а сам процесс формирования аналитики стал «бюрократическим». Последнюю особенность заметили и компании, так что число желающих консолидировать свои BI-среды сократилось с 40% в 2009 году до 38% в 2010 году, по данным Forrester. Главным свойством BI систем в будущем должна стать гибкость, полагают аналитики Forrester Research. Разнообразие продуктов Экспансия BI платформ привела к тому, что категории пользователей аналитических систем существенно дифференцировались и расширились: сегодня системы бизнес-анализа используют как рядовые работники, так и аналитики, топ-менеджеры, партнеры, регуляторы и ИТ-специалисты. Это оказывает прямое влияние на многообразие BI продуктов, а также на их ключевые функциональные возможности. Не удивительно, отмечают в Gartner, что применительно к аналитическим системам интересы этих разнообразных пользовательских групп зачастую не совпадают. Пользовательский конфликт в 2011 году остался неизменными: бизнес-пользователи хотели бы иметь простые в использовании, гибкие аналитические продукты, чтобы сосредоточить всю мощь аналитических возможностей в своих руках. В то же время ИТ-специалисты стремились к созданию стандартизированного и простого с точки зрения поддержки BI окружения с предсказуемым представлением и качеством данных. Эта тенденция подтвердилась в ходе ежегодного исследования Gartner Magic Quadrant 2012, в ходе которого 52% бизнес-пользователей назвали простоту в использовании критерием №1 при выборе BIсистемы, тогда как ИТ-специалисты поставили на первое место «функциональность», и 108 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 только на второе и третье – простоту для конечных пользователей и возможности интеграции данных и доступа к ним. Фокус на поддержке решений Уровень BI платформы на протяжении долго времени определялся тем, «как» она работает. Делая столь интенсивный фокус на механике BI, многие организации потеряли из виду самое главное, для чего все это затевалось – принятие верных решений. «Решения — это кровь от плоти любой организации. Поэтому принятие решений является фундаментальным действием на пути к успеху для каждой компании, является ли она коммерческой, некоммерческой или правительственной, что делает необходимость принятия решений драйвером №1 для инвестиций в аналитику и BI. Вместе с тем ежедневно и несмотря на большие вложения в BI организации принимают тысячи решений, которые имеют практически нулевой эффект», говорится в отчете Gartner. Вместе с тем большинство BI платформ «заточены» под измерение производительности, а не поддержку принятия решений. Однако сегодня все больше компаний стремятся сделать аналитику именно составной частью этого процесса, и в дальнейшем эта тенденция будет нарастать. Лавинообразный рост новых типов контента Согласно данным Gartner Magic Quadrant за 2012 год, тремя ключевыми областями применения BI платформ, которые отметили более половины респондентов, являются области финансов, продаж и операционного анализа. Также распространено использование аналитических решения в области маркетинга, управления цепочками поставок и клиентского сервиса. Однако есть множество других областей применения BI, которые охарактеризованы в исследовании как «интересные»: это риск менеджмент, социальные медиа, управление качеством и отраслевые инициативы (актуально в первую очередь для здравоохранения и ритейла). В Gartner отмечают, что все чаще BI системы применяются в новых «ракурсах» и предметных областях, причем пользователи ожидают от вендоров поддержки именно этих, новых областей применения. Как следствие, это создает новые требования к возможностям самим платформ. К таким требования относятся: Доступ к данным в реальном времени. Доставка данных в реальном времени становится важной частью информационной инфраструктуры по мере роста использования аналитики. Необходимость хранения и трансформации таких данных посредством специализированных хранилищ становится менее критичной, поскольку теперь они могут быть «подключены» напрямую к операционным приложениям, а те, в свою очередь, могут анализировать данные, что называется, «на лету». Гибридный контент. Рост аналитики применительно к социальным медиа усиливает потребность в доступе к объемным, полуструктурированным данным, по большей части текстовым, и последующем их анализе. Bid data это не только то, что обычно ассоциируют с Hadoop/NoSQL, но и еще и источники большого количество разрозненной информации, которую еще только предстоит научиться понимать. Аналитические приложения. Аналитические приложения будут частью ИТ-ландшафта в ближайшие десятилетия. Однако в Gartner отмечают растущий интерес бизнеса к 109 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 покупке BI-приложений на стандартной аналитической основе в дополнение к приложениям специализированных вендоров. «Интеллектуальная география». Когда необходимо узнать, где именно лучше построить новый аутлет, или оценить аудиторию с помощью специфических географодемографических параметров (таких, например, как почтовый код), обычно необходимо комбинировать множество данных о рынке от внешних провайдеров и задействовать предикативные аналитические модели, чтобы найти «своих» покупателей. Такие функции становятся все более актуальны, поскольку не просто наносят результат на карту, а в действительности дают полное представление о клиентах. Несоответствие BI стратегии бизнеса К 2014 году, по данным Gartner, менее 30% BI-инициатив будут действительно соответствовать основным драйверам бизнеса несмотря на то, что актуальность и станет главным вызовом для BI-систем. Как поясняют аналитики, задача применения BI как раз и состоит в том, чтобы коррелировать с корпоративной стратегией. Однако часто на предприятиях аналитические системы в фокусе внимания держат только интересные пользователям метрики, но не обеспечивают операционного или стратегического контроля, который необходим для повышения эффективности бизнеса. Смена организационного подхода Кроме того, аналитики Gartner считают, что к 2013 году BI-проекты будут основываться на организационной модели, в которой будет найден баланс между централизацией и децентрализацией поставки аналитики пользователям. В целом, по мнению экспертов Gartner, по мере консумеризации BI (например, распространения мобильной аналитики), роста объемов и доступности данных, а также ускорения всех процессов бизнеса, предоставление нужных аналитических данных нужным людям и в нужное время может стать очень сложной задачей. Все проблемы на рынке BI в 2012 году и далее, считают аналитики, будут пролегать за пределами технической плоскости. Поэтому ИТ-службам нужно сконцентрироваться не только на формальных аспектах бизнес-анализа данных, но и на восполнении нехватки аналитических навыков. В рамках своих BI-проектов им рекомендовано использовать подход «дума й глобально – действуй локально», то есть, с одной стороны, гибко избегать узких мест проектов, но в то же время создавать достаточно последовательные стандарты в масштабах всего предприятия. Аналитика нового поколения По версии Gartner «аналитика нового поколения» (next generation analytics) входит в ТОП-10 технологических трендов на 2012 год. Gartner также обозначает это понятие термином «продвинутая аналитика» (advanced analytics). Решения этого типа характеризуются тремя особенностями: они интеллектуальные, коллаборативные и всеобъемлющие. В качестве примера подобных решений Gartner приводит системы совместного принятия решений (Collaborative Decision Making, CDM). Платформы CDM объединяют функционал BI и социальных сетей, а также других технологий для того, чтобы снабдить пользователей данными для эффективного принятия решений. 110 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Облачные решения Адаптация модели SaaS применительно к BI, находящаяся сейчас на относительно низком уровне. Согласно прогнозам IDC, рост сегмента SaaS BI по темпам будет втрое превышать темп роста этого рынка в целом, так что к 2013 году он составит 22,4% в год. Правда, на долю SaaS BI будет приходиться все еще существенно меньшая доля рынка по сравнению с традиционными приложениями. Тем временем Gartner прогнозирует, что через год, к 2013 году, только 3% выручки BI-вендоров будут приходиться на облачные системы даже несмотря на то, что соответствующий функционал презентуют все без исключения производители систем бизнес-анализа данных. Тем не менее, рынок BI не останется за рамками облачной индустрии. Open Source BI Адаптация Open Source BI -платформ будет идти более активными темпами, чем их коммерческих аналогов. Хотя функциональность BI-платформ с открытым кодом еще не вполне достигла тех, которые предлагают вендоры, и они пока не рассматриваются в качестве промышленного стандарта, этот сегмент растет достаточно быстрыми темпами. Между тем, вендоры коммерческих BI-решений зачастую используют функционал Open Source BI в своих решениях. Между тем, системные интеграторы также начали выстраивать консалтинговую практику вокруг BI с открытым кодом (преимущественно отчетов и панелей) как часть своих контрактных решений. 111 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Большие данные (Big Data) Принято считать, что современные программные инструменты не в состоянии оперировать такими объемами в рамках разумных временных промежутков. Очевидно, обозначенный диапазон значений носит весьма условный характер и имеет тенденцию к увеличению в большую сторону, поскольку вычислительная техника непрерывно совершенствуется и становится все более доступной. В частности, Gartner рассматривает «большие данные» сразу в трех плоскостях – роста объемов, роста скорости обмена данными и увеличения информационного разнообразия. Основной особенностью используемых в рамках концепции больших данных подходов является возможность обработки информационного массива целиком для получения более достоверных результатов анализа. Прежде приходилось полагаться на так называемую репрезентативную выборку или подмножество информации. Закономерно погрешности при таком подходе были заметно выше. Кроме того, такой подход требовал затрат определенного количества ресурсов на подготовку данных для анализа и приведение их к требуемому формату. Что такое большие данные? Самое простое определение Из названия можно предположить, что термин `большие данные` относится просто к управлению и анализу больших объемов данных. Согласно отчету McKinsey Institute `Большие данные: новый рубеж для инноваций, конкуренции и производительности` (Big data: The next frontier for innovation, competition and productivity), термин `большие данные` относится к наборам данных, размер которых превосходит возможности типичных баз данных (БД) по занесению, хранению, управлению и анализу информации. И мировые репозитарии данных, безусловно, продолжают расти. В представленном в середине 2011 г. отчете аналитической компании IDC `Исследование цифровой вселенной` (Digital Universe Study), подготовку которого спонсировала компания EMC, предсказывалось, что общий мировой объем созданных и реплицированных данных в 2011-м может составить около 1,8 зеттабайта (1,8 трлн. гигабайт) — примерно в 9 раз больше того, что было создано в 2006-м. Более сложное определение Тем не менее `большие данные` предполагают нечто большее, чем просто анализ огромных объемов информации. Проблема не в том, что организации создают огромные объемы данных, а в том, что бóльшая их часть представлена в формате, плохо соответствующем традиционному структурированному формату БД, — это веб-журналы, видеозаписи, текстовые документы, машинный код или, например, геопространственные данные. Всё это хранится во множестве разнообразных хранилищ, иногда даже за пределами организации. В результате корпорации могут иметь доступ к огромному объему своих данных и не иметь необходимых инструментов, чтобы установить взаимосвязи между этими данными и сделать на их основе значимые выводы. Добавьте сюда то обстоятельство, что данные сейчас обновляются все чаще и чаще, и вы получите ситуацию, в которой традиционные методы анализа информации не могут угнаться за огромными объемами постоянно обновляемых данных, что в итоге и открывает дорогу технологиям больших данных. 112 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Наилучшее определение В сущности, понятие больших данных подразумевает работу с информацией огромного объема и разнообразного состава, весьма часто обновляемой и находящейся в разных источниках в целях увеличения эффективности работы, создания новых продуктов и повышения конкурентоспособности. Консалтинговая компания Forrester дает краткую формулировку: `Большие данные объединяют техники и технологии, которые извлекают смысл из данных на экстремальном пределе практичности`. Объем данных Прогноз на 2013-2015 годы На технологии работы с Большими Данными в 2013 году в мире будет потрачено порядка 34 млрд долл., а к 2015 году в этом секторе будет создано 4,4 млн рабочих мест, но самым сложным вопросом все равно остается то, какие результаты при этом предполагается получить. Даже банки не занимаются анализом больших объемов данных в производственных масштабах, поскольку основная их часть хорошо организована и хранится на мэйнфреймах. Дальше всего в этом направлении продвинулись сети розничной торговли. Они с успехом обрабатывают данные средств радиочастотной идентификации (RFID), систем снабжения и покупательских карт. Во многих других отраслях только начинают искать способы монетизации имеющихся данных — но далеко не все данные являются ресурсом, и на анализ некоторых из них тратятся лишние деньги, указывает аналитик. В ближайшие 8 лет количество данных в мире достигнет 40 зеттабайт, что эквивалентно 5200 гигабайт (Гб) на каждого жителя планеты, по данным исследования IDC Digital Universe, опубликованного в декабре 2012 года. 40 зеттабайт эквивалентно 40 триллионам Гб, что в 57 раз больше, чем количество песчинок на пляжах на всей поверхности Земли. По прогнозам, количество данных на планете будет удваиваться каждые два года вплоть до 2020 года. Исследование Digital Universe проводится при содействии EMC с 2005 года, последнее его обновление было выпущено 18 месяцев назад (по отношению к декабрю 2012 года). Согласно предыдущей версии, обнародованной в июне 2011 года, количество данных в мире в 2020 году должно было достигнуть только 35, а не 40 зеттабайт. Большую часть данных, которая будет произведена в период с 2012 по 2020 годы, сгенерируют не люди, а машины в ходе взаимодействия друг с другом и другими сетями данных. Сюда относятся, например, сенсоры и интеллектуальные устройства, которые могут взаимодействовать со сторонними девайсами. Значительная часть произведенных к настоящему моменту данных ни разу не была исследована с помощью специализированных аналитических инструментов. По оценкам IDC, к 2020 году только 35% данных будет содержать ценную для анализа информацию. «Цифровая вселенная» (digital universe) включает в себя как цифровые изображение и видео, загруженные с мобильных телефонов, например, на Youtube, так и HD видео, передаваемое по сетям провайдеров. Как корпоративные данные, генерируемые бизнес-приложениями, так и данные, которые создает Большой адронный коллайдер (БАК). 113 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Количество серверов (виртуальных и физических) во всем мире вырастет десятикратно, в первую очередь за счет расширения и создания новых промышленных дата-центров, говорится в исследовании IDC. Тем не менее, количество обслуживающих их ИТспециалистов увеличится не более чем в 1,5 раза. Также аналитики ожидают, что в будущем большая часть цифровой информации будет храниться в облаке. Если сейчас на облачные технологии приходится около 5% от мировых ИТ-расходов, то к 2020 году 40% всей информации в цифровой вселенной будет «привязано» к облачным системам. Однако, в облаке будет производиться преимущественно обработка и процессинг данных, а непосредственно храниться в облаке будет только 15% информации. Инвестиции в управление, хранение, изучение битов в цифровой вселенной вырастут только на 40% в период с 2012 по 2020 году. В результате инвестиции на гигабайт в этот период снизятся с $2 до $0,2. Отмечается и большой вклад развивающихся ИТ рынков в наполнение цифровой вселенной новой информацией. Если в 2005 году, по данным IDC, 48% всех данных было сгенерировано в США и Западной Европе, а на развивающиеся страны в совокупности приходилось 20%, то в 2012 году доля развивающихся стран составила 36%, а к 2020 году достигнет 62%. Только на Китай будет приходиться 21% всей цифровой информации в мире. Почему данные стали большими Источников больших данных в современном мире великое множество. В их качестве могут выступать непрерывно поступающие данные с измерительных устройств, события от радиочастотных идентификаторов, потоки сообщений из социальных сетей, метеорологические данные, данные дистанционного зондирования земли, потоки данных о местонахождении абонентов сетей сотовой связи, устройств аудио- и видеорегистрации. Собственно, массовое распространение перечисленных выше технологий и принципиально новых моделей использования различно рода устройств и интернет-сервисов послужило отправной точкой для проникновения больших данных едва ли не во все сферы деятельности человека. В первую очередь, научно-исследовательскую деятельность, коммерческий сектор и государственное управление. 114 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Рост объемов данных (слева) на фоне вытеснения аналоговых средств хранения (справа). Источник: Hilbert and López, `The world’s technological capacity to store, communicate, and compute information,`Science, 2011Global Несколько занимательных и показательных фактов: В 2010 году корпорации мира накопили 7 экзабайтов данных, на наших домашних ПК и ноутбуках хранится 6 экзабайтов информации. Всю музыку мира можно разместить на диске стоимостью 600 долл. В 2010 году в сетях операторов мобильной связи обслуживалось 5 млрд телефонов. Каждый месяц в сети Facebook выкладывается в открытый доступ 30 млрд новых источников информации. Ежегодно объемы хранимой информации вырастают на 40%, в то время как глобальные затраты на ИТ растут всего на 5%. По состоянию на апрель 2011 года в библиотеке Конгресса США хранилось 235 терабайт данных. Американские компании в 15 из 17 отраслей экономики располагают большими объемами данных, чем библиотека Конгресса США. Рост вычислительной мощности компьютерной техники (слева) на фоне трансформации парадигмы работы с данными (справа). Источник: Hilbert and López, `The world’s technological capacity to store, communicate, and compute information,`Science, 2011Global К примеру, датчики, установленные на авиадвигателе, генерируют около 10 Тб за полчаса. Примерно такие же потоки характерны для буровых установок и нефтеперерабатывающих комплексов. Только один сервис коротких сообщений Twitter, несмотря на ограничение длины сообщения в 140 символов, генерирует поток 8 Тб/сут. Если все подобные данные накапливать для дальнейшей обработки, то их суммарный объем будет измеряться десятками и сотнями петабайт. Дополнительные сложности проистекают из вариативности данных: их состав и структура подвержены постоянным изменениям при запуске новых сервисов, установке усовершенствованных сенсоров или развертывании новых маркетинговых кампаний. 115 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 В ходе исследования (весна 2013 года) под названием Cisco Connected World Technology Report, проведенного в 18 странах независимой аналитической компанией InsightExpress, были опрошены 1 800 студентов колледжей и такое же количество молодых специалистов в возрасте от 18 до 30 лет. Опрос проводился, чтобы выяснить уровень готовности ИТ-отделов к реализации проектов Big Data и получить представление о связанных с этим проблемах, технологических изъянах и стратегической ценности таких проектов. Большинство компаний собирает, записывает и анализирует данные. Тем не менее, говорится в отчете, многие компании в связи с Big Data сталкиваются с целым рядом сложных деловых и информационнотехнологических проблем. К примеру, 60 процентов опрошенных признают, что решения Big Data могут усовершенствовать процессы принятия решений и повысить конкурентоспособность, но лишь 28 процентов заявили о том, что уже получают реальные стратегические преимущества от накопленной информации. Откуда данные поступают 116 Компании собирают и используют данные самых разных типов, как структурированные, так и неструктурированные. Вот из каких источников получают данные участники опроса (Cisco Connected World Technology Report): 74 процента собирают текущие данные; 55 процентов собирают исторические данные; 48 процентов снимают данные с мониторов и датчиков; 40 процентов пользуются данными в реальном времени, а затем стирают их. Чаще всего данные в реальном времени используются в Индии (62 процента), США (60 процентов) и Аргентине (58 процентов); 32 процента опрошенных собирают неструктурированные данные – например, видео. В этой области лидирует Китай: там Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 неструктурированные данные собирают 56 процентов опрошенных. 117 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Методики анализа больших данных Существует множество разнообразных методик анализа массивов данных, в основе которых лежит инструментарий, заимствованный из статистики и информатики (например, машинное обучение). Список не претендует на полноту, однако в нем отражены наиболее востребованные в различных отраслях подходы. При этом следует понимать, что исследователи продолжают работать над созданием новых методик и совершенствованием существующих. Кроме того, некоторые из перечисленных них методик вовсе не обязательно применимы исключительно к большим данным и могут с успехом использоваться для меньших по объему массивов (например, A/B-тестирование, регрессионный анализ). Безусловно, чем более объемный и диверсифицируемый массив подвергается анализу, тем более точные и релевантные данные удается получить на выходе. 118 A/B testing. Методика, в которой контрольная выборка поочередно сравнивается с другими. Тем самым удается выявить оптимальную комбинацию показателей для достижения, например, наилучшей ответной реакции потребителей на маркетинговое предложение. Большие данные позволяют провести огромное количество итераций и таким образом получить статистически достоверный результат. Association rule learning. Набор методик для выявления взаимосвязей, т.е. ассоциативных правил, между переменными величинами в больших массивах данных. Используется в data mining. Classification. Набор методик, которые позволяет предсказать поведение потребителей в определенном сегменте рынка (принятие решений о покупке, отток, объем потребления и проч.). Используется в data mining. Cluster analysis. Статистический метод классификации объектов по группам за счет выявления наперед не известных общих признаков. Используется в data mining. Crowdsourcing. Методика сбора данных из большого количества источников. Data fusion and data integration. Набор методик, который позволяет анализировать комментарии пользователей социальных сетей и сопоставлять с результатами продаж в режиме реального времени. Data mining. Набор методик, который позволяет определить наиболее восприимчивые для продвигаемого продукта или услуги категории потребителей, выявить особенности наиболее успешных работников, предсказать поведенческую модель потребителей. Ensemble learning. В этом методе задействуется множество предикативных моделей за счет чего повышается качество сделанных прогнозов. Genetic algorithms. В этой методике возможные решения представляют в виде `хромосом`, которые могут комбинироваться и мутировать. Как и в процессе естественной эволюции, выживает наиболее приспособленная особь. Machine learning. Направление в информатике (исторически за ним закрепилось название `искусственный интеллект`), которое преследует цель создания алгоритмов самообучения на основе анализа эмпирических данных. Natural language processing (NLP). Набор заимствованных из информатики и лингвистики методик распознавания естественного языка человека. Network analysis. Набор методик анализа связей между узлами в сетях. Применительно к социальным сетям позволяет анализировать взаимосвязи между отдельными пользователями, компаниями, сообществами и т.п. Optimization. Набор численных методов для редизайна сложных систем и процессов для улучшения одного или нескольких показателей. Помогает в принятии стратегических решений, например, состава выводимой на рынок продуктовой линейки, проведении инвестиционного анализа и проч. Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Pattern recognition. Набор методик с элементами самообучения для предсказания поведенческой модели потребителей. Predictive modeling. Набор методик, которые позволяют создать математическую модель наперед заданного вероятного сценария развития событий. Например, анализ базы данных CRM-системы на предмет возможных условий, которые подтолкнут абоненты сменить провайдера. Regression. Набор статистических методов для выявления закономерности между изменением зависимой переменной и одной или несколькими независимыми. Часто применяется для прогнозирования и предсказаний. Используется в data mining. Sentiment analysis. В основе методик оценки настроений потребителей лежат технологии распознавания естественного языка человека. Они позволяют вычленить из общего информационного потока сообщения, связанные с интересующим предметом (например, потребительским продуктом). Далее оценить полярность суждения (позитивное или негативное), степень эмоциональности и проч. Signal processing. Заимствованный из радиотехники набор методик, который преследует цель распознавания сигнала на фоне шума и его дальнейшего анализа. Spatial analysis. Набор отчасти заимствованных из статистики методик анализа пространственных данных – топологии местности, географических координат, геометрии объектов. Источником больших данных в этом случае часто выступают геоинформационные системы (ГИС). Statistics. Наука о сборе, организации и интерпретации данных, включая разработку опросников и проведение экспериментов. Статистические методы часто применяются для оценочных суждений о взаимосвязях между теми или иными событиями. Supervised learning. Набор основанных на технологиях машинного обучения методик, которые позволяют выявить функциональные взаимосвязи в анализируемых массивах данных. Simulation. Моделирование поведения сложных систем часто используется для прогнозирования, предсказания и проработки различных сценариев при планировании. Time series analysis. Набор заимствованных из статистики и цифровой обработки сигналов методов анализа повторяющихся с течением времени последовательностей данных. Одни из очевидных применений – отслеживание рынка ценных бумаг или заболеваемости пациентов. Unsupervised learning. Набор основанных на технологиях машинного обучения методик, которые позволяют выявить скрытые функциональные взаимосвязи в анализируемых массивах данных. Имеет общие черты с Cluster Analysis. Visualization. Методы графического представления результатов анализа больших данных в виде диаграмм или анимированных изображений для упрощения интерпретации облегчения понимания полученных результатов. Аналитический инструментарий Некоторые из перечисленных в предыдущем подразделе подходов или определенную их совокупность позволяют реализовать на практике аналитические движки для работы с большими данными. Из свободных или относительно недорогих открытых систем анализа Big Data можно порекомендовать: 1010data; Apache Chukwa; Apache Hadoop; Apache Hive; Apache Pig!; 119 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Jaspersoft; LexisNexis Risk Solutions HPCC Systems; MapReduce; Revolution Analytics (на базе языка R для мат.статистики). Особый интерес в этом списке представляет Apache Hadoop – ПО с открытым кодом, которое за последние пять лет испытано в качестве анализатора данных большинством трекеров акций. Как только Yahoo открыла код Hadoop сообществу с открытым кодом, в ИТ-индустрии незамедлительно появилось целое направление по созданию продуктов на базе Hadoop. В настоящее время практически все современные средства анализа больших данных предоставляют средства интеграции с Hadoop. Их разработчиками выступают как стартапы, так и общеизвестные мировые компании. Как справиться с большими данными Невиданное прежде разнообразие данных, возникающих в результате огромного числа всевозможных транзакций и взаимодействий, предоставляет собой прекрасную фундаментальную базу для бизнеса по уточнению прогнозов, оценке перспектив развития продуктов и целых направлений, лучшего контроля затрат, оценки эффективности – список легко продолжать сколь угодно долго. С другой стороны, большие данные ставят непростые задачи перед любым ИТ-подразделением. Мало того, что они принципиально нового характера, при их решении важно учитывать накладываемые бюджетом ограничения на капитальные и текущие затраты. ИТ-директор, который намерен извлечь пользу из больших структурированных и неструктурированных данных, должен руководствоваться следующими техническими соображениями: 120 Разделяй и властвуй. Перемещение и интеграция данных необходимы, но оба подхода повышают капитальные и операционные расходы на инструменты извлечения информации, ее преобразования и загрузки (ETL). Поэтому не стоит пренебрегать стандартными реляционными средами, такими как Oracle, и аналитическими хранилищами данных, такими как Teradata. Компрессия и дедупликация. Обе технологии существенно ушли вперед, например, многоуровневая компрессия позволяет сокращать объем `сырых` данных в десятки раз. Впрочем, всегда стоит помнить какая часть сжатых данных может потребовать восстановления, и уже отталкиваясь от каждой конкретной ситуации принимать решение об использовании той же компрессии. Не все данные одинаковы. В зависимости от конкретной ситуации диапазон запросов для бизнес-аналитики меняется в широких пределах. Часто для получения необходимой информации достаточно получить ответ на SQL-запрос, но встречаются и глубокие аналитические запросы, требующие применения наделенных бизнес-интеллектом инструментов и обладающих полным спектром возможностей приборной доски и визуализации. Чтобы не допустить резкого увеличения операционных расходов, нужно тщательно подойти к составлению сбалансированного списка необходимых патентованных технологий в сочетании с открытым ПО Apache Hadoop. Масштабирование и управляемость. Организации вынуждены решать проблему разнородности баз данных и аналитических сред, и в этой связи возможность масштабирования по горизонтали и Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 вертикали имеет принципиальное значение. Собственно, как раз легкость горизонтального масштабирования и стала одной из основных причин быстрого распространения Hadoop. Особенно в свете возможности параллельной обработки информации на кластерах из обычных серверов (не требует от сотрудников узкоспециальных навыков) и экономии таким образом инвестиций в ИТ-ресурсы. Насколько велика разница между бизнес-аналитикой и большими данными? Крейг Бати, исполнительный директор по маркетингу и директор по технологиям Fujitsu Australia, указывает, что сейчас бизнес-анализ является описательным процессом анализа результатов, достигнутых бизнесом в определенный период времени, между тем как скорость обработки больших данных позволяет сделать анализ предсказательным, способным предлагать бизнесу рекомендации на будущее. Технологии больших данных позволяют также анализировать больше типов данных в сравнении с инструментами бизнес-аналитики, что дает возможность фокусироваться не только на структурированных хранилищах. Мэтт Слокум из O'Reilly Radar считает, что хотя большие данные и бизнес-аналитика имеют одинаковую цель (поиск ответов на вопрос), они отличаются друг от друга по трем аспектам. Большие данные предназначены для обработки более значительных объемов информации, чем бизнес-аналитика, и это, конечно, соответствует традиционному определению больших данных. Большие данные предназначены для обработки более быстро получаемых и меняющихся сведений, что означает глубокое исследование и интерактивность. В некоторых случаях результаты формируются быстрее, чем загружается веб-страница. Большие данные предназначены для обработки неструктурированных данных, способы использования которых мы только начинаем изучать после того, как смогли наладить их сбор и хранение, и нам требуются алгоритмы и возможность диалога для облегчения поиска тенденций, содержащихся внутри этих массивов. Согласно опубликованной компанией Oracle белой книге `Информационная архитектура Oracle: руководство архитектора по большим данным` (Oracle Information Architecture: An Architect's Guide to Big Data), при работе с большими данными мы подходим к информации иначе, чем при проведении бизнес-анализа. Работа с большими данными не похожа на обычный процесс бизнес-аналитики, где простое сложение известных значений приносит результат: например, итог сложения данных об оплаченных счетах становится объемом продаж за год. При работе с большими данными результат получается в процессе их очистки путём последовательного моделирования: сначала выдвигается гипотеза, строится статистическая, визуальная или семантическая модель, на ее основании проверяется верность выдвинутой гипотезы и затем выдвигается следующая. Этот процесс требует от исследователя либо интерпретации визуальных значений или составления интерактивных запросов на основе знаний, либо разработки адаптивных алгоритмов `машинного обучения`, способных получить искомый результат. Причём время жизни такого алгоритма может быть довольно коротким. Мировой рынок технологий Big Data Согласно прогнозу IDC (Worldwide Big Data technology and services forecast), вышедшему в марте 2012 года, рынок технологий и сервисов для обработки больших данных вырастет с $3,2 млрд в 2010 году до $16,9 млрд в 2015 году. Это соответствует среднегодовому темпу роста (CAGR) на уровне 40%, что примерно в 7 раз больше, чем среднегодовой темп роста всего ИКТ рынка в целом. 121 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 IDC указывает, что работа с Big Data станет еще одной must-have компетенцией в 2012 году. По данным IDC, в 2012 году буде сгенерировано около 2,43 Зеттабайт цифрового контента, что на 48% больше, чем в 2011 году. Более 90% этой информации будут представлять собой неструктурированные данные (изображения, видео, mp3 файлы и файлы социальных медиа), то есть данные, которые очень сложно поддаются анализу. Исследование, проведенное LogLogic, показало, что 49% ИТ-руководителей уверены в готовности своих компаний справиться с Большими Данными. При этом 38%, напротив, признали, что даже не имеют подного представления о сути этого явления. Big Data стал последним изобретенным аналитиками термином, призванным пустить пыль в глаза ИТ-менеджерам. Фактически это еще один способ указать, что компании накрывает волна данных, которые потребуют новых подходов в управлении и анализе. Эксперты сравнивают компании с кораблем, тянущим за собой гигантскую сеть и собирающим все, что в нее попадает. При этом объем пойманных морепродуктов, а также бесполезного мусора, постоянно растет. Сортировка, обработка и извлечение пользы из них становится действительно нетривиальным занятием, требующим принципиально иных механизмов. Ведущие игроки рынка Интерес к инструментам сбора, обработки, управления и анализа больших данных проявляют едва ли не все ведущие ИТ-компании, что вполне закономерно. Во-первых, они непосредственно сталкиваются с этим феном в собственном бизнесе, во-вторых, большие данные открывают отличные возможности для освоения новых ниш рынка и привлечения новых заказчиков. 122 Amazon Dell eBay EMC Facebook Fujitsu Google Hitachi Data Systems Corporation HP IBM LinkedIn Microsoft NetApp Oracle SAP SAS SGI (Silicon Graphics Inc) Teradata VMware Yahoo Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Новая волна стартапов В последнее время появляется множество стартапов, которые делают бизнес на обработке огромных массивов данных. Часть из них используют готовую облачную инфраструктуру, предоставляемую крупными игроками вроде Amazon. Оговоримся сразу, через Google легко можно найти десятки других компаний за рамками представленного ниже списка. Acunu Apigee Aspera Aster Data (поглотила Teradata) Cloudera Couchbase Datameer DataStax Factual GoodData Greenplum (поглотила ЕМС) Hortonworks (имеет общие корни с Yahoo) MapR Technologies Metaweb Technologies (поглотила Google) Netezza (поглотила IBM) nPario Palantir Technologies ParAccel ParStream SenSage Socrata Splunk Sybase (поглотила SAP) TellApart Vertica (поглотила НР) Большие данные – большие проблемы Если производительность современных вычислительных систем за несколько десятилетий выросла на многие порядки и не идет ни в какое сравнение с первыми персональными ПК образца начала 80-х гг. прошлого столетия, то с СХД дела обстоят гораздо хуже. Безусловно, доступные объемы многократно увеличились (впрочем, они по-прежнему в дефиците), резко снизилась стоимость хранения информации в пересчете на бит (хотя готовые системы попрежнему слишком дорогие), однако скорость извлечения и поиска нужной информации оставляет желать лучшего. Если не брать в рассмотрение пока еще слишком дорогие и не вполне надежные и долговечные флэш-накопители, технологии хранения информации не очень далеко ушли вперед. По-прежнему приходится иметь дело с жесткими дисками, скорость вращения пластин которых даже в самых дорогих моделях ограничена на уровне 15 тыс. об./мин. Коль скоро речь идет о больших данных, очевидно, немалое их количество (если не подавляющее) размещается на накопителях со скоростью вращения шпинделя 7,2 тыс. об./мин. Достаточно прозаично и грустно. 123 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Обозначенная проблема лежит на поверхности и хорошо знакома ИТ-директорам компаний. Впрочем, она далеко не единственная: Технологическое отставание Большие данные могут превратиться в большую головную боль или открыть большие возможности перед правительственными учреждениями, если только они сумеют ими воспользоваться. К таким выводам пришли во втором квартале 2012 года авторы исследования с неутешительным названием The Big Data Gap (с англ. gap – «расхождение», в данном контексте между теоретическими выгодами и реальным положением дел). По результатам опроса 151 ИТ-директора в ближайшие два года объемы хранимых данных в государственных учреждениях увечатся на 1 Петабайт (1024 Терабайт). В то же время извлекать выгоды из постоянно растущих информационных потоков становится все сложнее, сказывается недостаток доступного пространства в СХД, затрудняется доступ к нужным данным, не хватает вычислительной мощности и квалифицированного персонала. Находящиеся в распоряжении ИТ-менеджеров технологии и приложения демонстрируют существенное отставание от требований реальных задач, решение которых способно принести большим данным дополнительную ценность. 60% представителей гражданских и 42% оборонных ведомств пока только занимаются изучением феномена больших данных и ведут поиск возможных точек его приложения в своей деятельности. Основной, по мнению ИТ-директоров федеральных органов власти, должно стать повышение эффективности работы – так считают 59% респондентов. На втором месте находится повышение скорости и точности принимаемых решений (51%), на третьем – возможность строить прогнозы (30%). Как бы там ни было, но потоки обрабатываемых данных продолжают расти. На увеличение объемов хранимой информации в течение последних двух лет указали 87% опрошенных ИТдиректоров, на сохранение этой тенденции в перспективе ближайших двух лет рассчитывают уже 96% респондентов (со средним приростом 64%). Чтобы суметь воспользоваться всеми преимуществами, которые сулят большие данные, принимавшим участие в опросе учреждениям понадобится в среднем три года. Пока только 40% органов власти принимают стратегические решения, основываясь на накапливаемых данных, и лишь 28% взаимодействуют с другими организациями для анализа распределенных данных. Низкое качество данных. В большом доме всегда сложнее навести порядок, нежели в крохотной квартирке. Здесь можно провести полную аналогию с большими данными, при работе с которыми очень важно придерживаться формулы `мусор на входе — золото на выходе`. К сожалению, современные инструменты управления мастер-данными недостаточно эффективны и нередко приводят к обратным ситуациям (`золото на входе — мусор на выходе`). 124 Метаданные: осведомлен – значит вооружен. Запрос, который хорошо справляется с поиском сотни строк из миллиона, может не справиться с таблицей из ста миллиардов строк. Если данные часто меняются, крайне важно вести журнал и проводить аудит. Выполнение этих несложных правил позволит располагать важной для выработки методики хранения и работы с данными информации об объеме данных, скорости и частоте его изменения. Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Скажи мне кто твой друг – и я скажу кто ты. Правильно интерпретировать скрытые в массивах больших данных тенденции и взаимосвязи могут в буквальном смысле считанные подготовленные специалисты. В некоторой степени их способны заменить фильтры и распознаватели структур, но качество получаемых на выходе результатов пока оставляет желать лучшего. Визуализация. Одноименный раздел статьи наглядно иллюстрирует всю сложность и неоднозначность используемых подходов для визуализации больших данных. В то же время, представление результатов в доступной для восприятия форме подчас имеет критически важное значение. Время – деньги. Просмотр данных в реальном времени означает необходимость постоянного пересчета, что далеко не всегда приемлемо. Приходится идти на компромисс и прибегать к ретроспективному способу аналитики, например, на базе кубов, и мириться с отчасти устаревшими результатами. Палить из пушки по воробьям. Никогда нельзя знать заранее на каком временном промежутке большие данные представляют особую ценность и наиболее релевантны. А ведь сбор, хранение, анализ, создание резервных копий требует немалых ресурсов. Остается оттачивать политику хранения и, конечно, не забывать применять ее на практике. Без больших иллюзий Аналитики компаний Ovum и Gartner предполагают, что для модной в 2012 году темы Больших Данных может настать время освобождения от иллюзий. Термином «Большие Данные», как правило, обозначают постоянно растущий объем информации, поступающей в оперативном режиме из социальных медиа, от сетей датчиков и других источников, а также растущий диапазон инструментов, используемых для обработки данных и выявления на их основе важных бизнес-тенденций. «Из-за шумихи (или несмотря на нее) относительно идеи Больших Данных производители в 2012 году с огромной надеждой смотрели на эту тенденцию», — отметил Тони Байер, аналитик Ovum. Байер сообщил, что компания DataSift провела ретроспективный анализ упоминаний Больших Данных в Twitter за 2012 год. Ограничивая поиск производителями, аналитики хотели сфокусироваться на восприятии этой идеи рынком, а не широким сообществом пользователей. Аналитики выявили 2,2 млн твитов от более чем 981 тыс. авторов. Эти данные различались в разных странах. Хотя общепринято убеждение, что США лидирует по показателю установленных платформ для работы с Большими Данными, пользователи из Японии, Германии и Франции часто были более активны в обсуждениях. Идея Больших Данных привлекла столь большое внимание, что об этом широко писала даже бизнес-пресса, а не только специализированные издания. Число положительных отзывов о Больших Данных со стороны производителей в три раза превышало число отрицательных, хотя в ноябре в связи с покупкой компанией HP компании Autonomy наблюдался всплеск негатива. 125 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Концепцию Больших Данных ожидают намного более суровые времена, хотя, миновав их, эта идеология достигнет зрелости. «Для сторонников Больших Данных наступает время расставания с иллюзиями», — пояснила Светлана Сикулар, аналитик Gartner. Она сослалась на обязательную стадию, входящую в классическую кривую цикла популярности (Hype Cycle), которую используют в Gartner. Даже среди тех клиентов, которые добились наибольших успехов с использованием Hadoop, многие «утрачивают иллюзии». «Они отнюдь не чувствуют, что находятся впереди других, и полагают, что успех выпадает другим, в то время как они переживают не лучшие времена. У этих организаций потрясающие идеи, а теперь они разочарованы из-за трудностей в выработке надежных решений», — сказала Сикулар. Впрочем, источником оптимизма для сторонников Больших Данных может быть то, что следующий цикл на кривой популярности, а также завершающие этапы имеют весьма многообещающие названия, а именно «склон просвещения» и «плато продуктивности». 126 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Big Data (мировой рынок) Согласно обновленному в январе 2013 года прогнозу IDC, мировой рынок технологий Big data будет расти в среднем на 31,7% в год и достигнет к 2016 году $23,8 млрд. Аналитики отмечают бурный тем роста соответствующих технологий и сервисов, а также активное формирование подсегментов этого рынка, в том числе появление новых. На протяжении ближайших четырех лет эти высокие темпы прироста рынок сохранит, полагают эксперты. Прогнозы 2013-2016 годы (прогноз PAC) Мировой рынок решений для обработки больших данных (Big Data) вырастет почти в 7 раз до 20 млрд евро в 2016 году по сравнению с 3 млрд евро в 2010 году, к таким выводам пришли аналитики PAC в исследовании, опубликованном в конце сентября 2012 года. Согласно данным агентства, ежегодный рост рынка составит около 38% с 2010 года по 2016 год. Популярность Big Data объясняется аналитиками тем, что сегмент позволяет пользоваться расширенным функционалом, не требуя при этом дополнительных специализированных навыков, в то время, как подобный ему, сегмент системной интеграции (SI), уже требует иной уровень подхода к работе. "Мы видим большой интерес к Big Data со стороны многих компаний, работающих с большим объемом неструктурированной информации, как то, журналы, аналитические компании", говорит главный аналитик направления Software PAC Филипп Карнелли. "При этом, есть несколько факторов, которые пока сдерживают рост рынка". По мнению аналитика, Big Data может существенно облегчить и улучшить работу потребительски-ориентированных компаний в различных областях: телекоммуникации, банки, розница. Эти компании смогут собирать и обрабатывать данные из социальных сетей и иных источников, связанных с их бизнесом. Филипп Карнелли отмечает, что вместе с ростом спроса на Big Data, общие затраты компаний на развитие подобных проектов снижаются за счет того, что компетентных специалистов становится больше. «Существует нечто вроде компромисса между дешевыми 127 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 инструментами, требующими последующей дорогой отладки, и более надежными и простыми в использовании инструментами, которые стоят больше, но в целом, затраты на развертывание проектов снижаются", - сказал он. Ряд компаний практически одновременно объявили о скором выходе коробочного варианта Big Data (Microsoft, IBM, Teradata, Oracle, SAP). Такие инструменты, по мнению PAC, будут способствовать развитию рынка Big Data. "Их деятельность помогает "одобрить" проекты Big Data даже для более консервативных или менее технически продвинутых компаний, предоставляя новые варианты", - продолжил Карнелли. "Еще более важно, что появился новый класс предложений - "данные-как-услуга", от Google и других. Это делает выход на рынок Big Data гораздо более простым". 2013-2016 (прогноз IDC) Согласно обновленному в январе 2013 года прогнозу IDC, мировой рынок технологий Big data будет расти в среднем на 31,7% в год и достигнет к 2016 году $23,8 млрд. Аналитики отмечают бурный тем роста соответствующих технологий и сервисов, а также активное формирование подсегментов этого рынка, в том числе появление новых. На протяжении ближайших четырех лет эти высокие темпы прироста рынок сохранит, полагают эксперты. Рост отдельных сегментов мирового рынка Big data будет варьироваться при этом от 21,1% для сервисов до 53,4% для систем хранения. Высокий темп роста в сегменте систем хранения больших данных связан с особенностями их использования в настоящий момент. Недостаток специалистов на рынке с компетенцией в области аналитики и управления большими данными приведет к тому, что все больше покупателей будут выбирать облачные решения, а также аутсорсинг аналитических сервисов, не только непосредственно технологий. Решения Big data для обработки данных, сгенерированных машинами, начнут набирать обороты ближе к концу прогнозного периода. Таковы основные тренды, ожидаемые IDC на этом рынке. Мировой объем рынка Big Data по итогам 2012 года вырастет почти на 50% до $7 млрд с $4,8 млрд долларов в 2011 году. Об этом 15 ноября 2012 года заявил менеджер по исследованиям IDC Россия Александр Прохоров. При этом в 2011 году распределение рынка Big Data на сегменты было следующим: 41% пришелся на услуги, 30% - на программное обеспечение, 14% - на серверные технологии, 12% - на технологии хранения данных, 3% - на сетевые технологии. Большая часть рынка Big Data (но не вся) принадлежит рынку бизнес аналитики, который по прогнозам IDC в 2012-м году составит около $100 млрд. По данным опроса IDC, 75% организаций в мире с числом сотрудников более 500 человек планируют инвестировать в решения бизнес-анализа данных в ближайшие 12 месяцев. Согласно прогнозам IDC - рынок связанный с технологией Big Data вырастет до $16,9 млрд в 2015 году. То есть продемонстрирует совокупный среднегодовой темп роста (CAGR) равный 39,4%, или будет расти примерно в семь раз быстрее, чем ИКТ рынок в целом. 2012-2013 (прогноз Gartner) Мировые расходы на big data в 2012 году составят $28 млрд, а в 2013 году – уже $34 млрд, согласно прогнозу, опубликованному Gartner в октябре 2012 года. Большая часть этих 128 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 средств будет затрачена на адаптацию традиционных решений к работе с большими данными, а на разработку нового функционала под bid data – только $4,3 млрд в 2012 году. Наибольшее влияние big data аналитики отмечают в таких областях как аналитика социальных сетей и контент-аналитика: на них придется 45% расходов как в 2012, так ив 2013 году. Другие технологические области, на которые оказывают существенное влияние большие данные, это инфраструктура приложений, промежуточное ПО, ПО хранения информации, системы управления БД, интеграция данных, BI и SCM. Марк Байер (Mark Beyer), вице-президент Gartner, заявил, что в 2011 году большие данные стали новым драйвером расходов на ИТ практически во всех категориях. По его словам, к 2018-2020 годам, тем не менее, требование о поддержке big data станет абсолютно рутинным для всех традиционных вендоров промышленных ИТ решений. По словам эксперта, явление big data оказывает «распределенное» влияние на рынок информационных технологий, так что в определенный момент времени поддержка больших данных станет не более чем отраслевым стандартом, и «большие данные» снова станут «просто данными». Те технологии, которые не смогут соответствовать новой информационной реальности, станут морально устаревшими. Причем организации, сопротивляющиеся этим изменениям, будут испытывать на себе тяжелые экономические последствия. Инвестиции в Big Data-стартапы Во второй декаде октября 2012 года сразу три американских стартапа получили инвестирование на развитие приложений и сервисов для работы с Big data. Эти компании на своем примере показывают неугасающий, а возрастающий интерес венчуров к этому сегменту ИТ бизнеса, а также необходимость новой инфраструктуры для работы с данными, пишет TechCrunch 21 октября 2012 года. Интерес инвесторов к Big data объясняется позитивным прогнозом Gartner о развитии этого сегмента до 2016 года. Согласно исследованию, решения для Big data будут составлять около 232 млрд долларов в структуре ИТ-расходов компаний. При этом, многие компании и стартапы в сегменте Big data начинают уходить от схемы работы пионеров отрасли (Google, Amazon), когда решения по работе с большими данными являлись лишь частью центров обработки данных. Сейчас они трансформировались в отдельное направление ИТ-рынка. Big data сейчас-это и инфраструктурные предложения и приложения как коробочного, так и облачного типов, это инструмент работы не только больших корпораций, но и среднего, а порой и малого бизнесов. И это движение рынка вынуждает вендоров иначе смотреть на Big data и менять свой подход в работе с ними, а также меняет взгляд на клиентов-потребителей, которыми теперь являются не только телекоммуникационные или финансовые корпорации. Российские реалии Взрывной рост данных, а также стремление получить больше знаний о своих клиентах толкает крупные компании на поиски технологий, которые помогут сохранять огромные объемы данных, получать и анализировать информацию из недоступных или труднодоступных ранее источников (например, потоковое видео, sentence-анализ при обращении в колл-центр). Кроме того, в традиционных системах стоимость хранения 1 ТБ 129 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 данных достаточна высока, применение решений на базе технологий Big Data позволяет значительно сократить затраты за счет использования более дешевого оборудование. На 2013 год тренд Big Data пока не дошел до России в полной мере. Распространение этой концепции в нашей стране пока ограничивается пилотными внедрениями и апробацией. Например, у компании КРОК сейчас три «пилота», рассказал Максим Андреев, руководитель направления бизнес-приложений компании КРОК. Один из них - для крупной телекоммуникационной компании по отслеживанию социальных связей между абонентами и выявлению уровней влияния. Цель проекта - уменьшение оттока клиентов. При этом в России на сегодняшний день доступны все имеющиеся в мире наработки в области Big Data – начиная от open source, заканчивая решениями крупных вендоров. Что касается стоимости, то она варьируется в зависимости от задачи и подходящего под нее решения. Использование этой технологии для компаний – это возможность уйти в отрыв от конкурентов за счет совершенствования предлагаемых продуктов или услуг, либо существенной оптимизации производственных и бизнес-процессов. Поэтому Big Data востребованы всеми компаниями, живущими в условиях высокой конкурентности, в частности, банками, ритейлом, телеком-операторами и прочими. Технологии уже больше пяти лет, однако, именно в последние годы появились реальные проекты в компаниях, в том числе российских, чей бизнес существенно меньше, чем, например, Facebook, подтвердил Дмитрий Зайцев, руководитель центра заказной разработки ПО компании «АйТи». Саму технологию Hadoop могут себе позволить многие российские компании разного уровня, работающие в сфере телеком- и интернет-услуг, государственного управления, финансовой сферы и других направлений, считает он. Юрий Колбасин, директор центра компетенций блока BI компании AT Consulting рассказал TAdviser, что его компанией также завершен пилотный проект в одном из российских операторов сотовой связи. На базе open source решения был создан кластер, в который загружаются все СDR и строится аналитика о геолокации абонента в момент совершения транзакции. Это позволяет получить информацию о распределении абонентов на карте, а также помогает работать с абонентами более таргетировано. Весь поток данных обрабатывался в десятки раз быстрее, чем в традиционных системах, при этом стоимость кластера дешевле на порядки. В результате пилотного проекта были сформированы области применения технологии больших данных в телеком-индустрии, показана их эффективность как с точки зрения сокращения затрат, так и с точки зрения повышение производительности. Все ведущие вендоры представлены в экосистеме Big Data. Кроме того, существует открытое ПО Apache Hadoop, которое составляет основу в коммерческих релизах. На российском рынке, с точки зрения аналитических систем на базе BigData, наиболее «удобными» являются решения от IBM, Oracle и Teradata, считают системные интеграторы. Владимир Коровкин, руководитель практики BI компании «Астерос Консалтинг», считает, что в России технологии Big Data могут быть востребованы в любых компаниях, где руководители готовы к серьезным инновациям с горизонтом отдачи в 5 лет. Сам по себе объем данных роли практически не играет, они всегда есть, надо лишь иметь хоть какую-то идею, как извлечь из них ценность для бизнеса. Промышленные компании, например, могут обратиться к уровню АСУТП, данных там хватает, но пока не очень много идей, как они могут помочь на управленческом уровне, на уровне бизнес-процессов. В целом опрошенные TAdviser эксперты ожидают, что в 2013 году рынок технологий big data в России перейдет от стадии тестирования и интереса у заказчиков к реальным коммерческим развертываниям. 130 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Self-Service BI В 2012 году многие отраслевые аналитики отметили рост интереса клиентов к так называемому self-service BI (буквально - «системам BI самообслуживания»). Появление большого количества решений бизнес-аналитики, адресованных конечным пользователям, эксперты IDC и Gartner фиксировали именно в 2011-2012 годы, констатируя формирование нового сегмента рынка BI с «человеческим лицом». И термин self-service BI - достаточно удачное ему определение. Что такое Self-Service BI? У традиционных мощных BI платформ есть большой недостаток, о котором прекрасно знают сами вендоры и консультанты: после внедрения таких платформ число запросов пользователей к системам бизнес-анализа остается гораздо более скромным, чем могло бы быть. Компании получают мощные инструменты анализа данных, но зачастую не умеют ими пользоваться и не понимают их практической пользы. По оценкам Forrester, развитию ситуации подобного рода способствуют следующие факторы: Требования к BI-системе меняются быстрее, чем ИТ-центрическая модель поддержки может их удовлетворить. Можно годами не обновлять существующие ERP, HRM и CRM системы, но инструменты бизнес-анализа должны работать «на злобу дня», максимально отвечая потребностям бизнеса и меняющимся факторам, будь то угроза слияния или поглощения, смена руководства компании или появление новых конкурентов. Бизнес и ИТ не всегда могут поддерживать 100% эффективную коммуникацию в рамках BIпроектов и по их завершении. В глазах представителей бизнеса нет ничего важнее удовлетворения текущих потребностей компании, причем сроки, в которые эти потребности готовы обеспечить ИТ-службы, не всегда устраивают обе стороны. Выше сказанное при этом вовсе не означает, что фирмы могут отдать комплексные, критические для миссии компании корпоративные BI-приложения в руки не профессионалов. Однако в действительности не более 20% всех BI-систем можно отнести в эту «стратегическую» категорию. По мнению Forrester, идеальная экосистема BI в компании должна быть организована таким образом, чтобы 80% BI запросов конечные пользователи могли отрабатывать самостоятельно. По мнению Forrester, основными составляющими self-service BI-системы являются: Интерфейс, заточенный на поиск (наподобие Google), который упрощает взаимодействие пользователя и системы и особенно помогает в таких запросах, когда «не известно, что же именно не известно». Возможность создания группы аналитических приложений, простота их установки на любые типы устройств непосредственно самими пользователями, а также пользование такими приложениями из облака. Наличие инструментов для самостоятельного создания различных аналитических сценариев, в том числе типа «что, если…». Возможность самостоятельного внесения новых данных пользователями непосредственно в процессе анализа данных. Если инструменты 131 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 самостоятельных запросов отсутствуют, приветствуется возможность их создания в системе путем минимального количества доработок. Функционал типа data discovery, возможность построения новых нетипичных моделей анализа информации, работа с нелинейными и неопределенными данными. Возможность поделиться результатами анализа данных с коллегами и использовать эти результаты непосредственно в рабочем процессе. Основные игроки Лидеры среди BI-платформ в сегменте Self-Service BI Forrester Research, 2012 По оценкам Forrester Research на 2012 год, лидерами среди мировых вендоров BI-платформ в сегменте BI-самообслуживания являлись IBM, SAP, SAS, Microsoft. Достаточно сильными игроками на этом рынке также являются Tibco, Oracle, QlikTech, MicroStrategy, Actuate Software, Information Builders, Panorama Software, Tableau. 132 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Визуализация данных Развитые средства визуализации данных стали неотъемлемой частью корпоративных BI-платформ. Некоторые вендоры, такие, например, как Tableau, именно визуализацию сделали краеугольным камнем своих аналитических систем. Тренд пронизывает рынок систем аналитики полностью: сегодня даже простейшие аналитические инструменты для конечных пользователей зачастую опираются именно на визуальное представление данных. Один из экспертов в области визуализации данных Эдвард Тафт (Edward Tufte) однажды сказал: «Мир является сложным, динамичным, многомерным, а бумага статичной и плоской. Как мы можем передать все богатство визуального представления об этом мире на этой равнине?». В действительности, развитые средства визуализации сегодня являются обязательным компонентов как промышленных BI-платформ, так и небольших аналитических решений для конечных пользователей. Визуализация данных, по мнению экспертов Forrester, необходима компании в тех случаях, когда: Невозможно увидеть паттерн, не прибегая к визуализации данных. Все потому, что традиционные отчеты, строки, колонки и таблицы не дают понимание общей картины в целом, что может привести к неверной интерпретации данных. Когда значительные массивы данных невозможно разместить на одном экране. Как бы ни был мелок шрифт, сотни и тысячи строк данных на одном экране будут абсолютно не информативны в сравнении с визуальных представлением этой же самой информации. В своей книге The Visual Display of Quantitative Information[2] Эдвард Тафт приводит пример отображения 21 тыс. значений данных на карте США, поместившейся на одном экране. Невозможно передать глубину данных посредством информации, представленной на одном экране. Например, в фармацевтике при анализе свойств тех или иных препаратов используются сотни различных психофизических параметров человека, охватить которые в линейном виде не представляется возможным. Однако медицинские эксперты присваивают каждому параметру разноцветные пиксели и помещают их в динамические модели, где любой участок при необходимости может быть увеличен и проанализирован детально. 133 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Пример визуализации "Симфонии №5" Людвига Ван Бетховена Многие компании на протяжении долгих лет эффективно используют такие простейшие средства визуализации данных как диаграммы и гистограммы, в дальнейшем развитие технологий визуального представления информации позволило сделать работу с ними более динамичной и обрабатывать сведения фактически в режиме реального времени. Развитая бизнес-графика включает в себя различные дэшборды и чарты, которые могут обновляться автоматически согласно заданным настройкам. Пример визуализации: связи между темами докладов разных стран в рамках Всемирного экономического форума 134 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Пример представления данных в виде дэшборда Среди многообразия отдельных инструментов и систем с функциями визуализации данных Forrester Research также выделяет отдельно платформы продвинутой дата визуализации или ADV (advanced data visualization). Такие платформы обладают более развитыми средствами и обеспечивают более комплексное представление информации. Вот их главные определяющие отличия: 135 Динамический контент. Это означает, что визуальное представление информации изменяется по мере апдейта данных в базе. Статическая визуализация, которую можно создать в большинстве офисных программ, такой возможности не предоставляет. Визуальные запросы. Это возможность запрашивать и перезапрашивать данные путем простого манипулирования частями графики или диаграмм (нажатием на кнопки, например, можно развернуть подробности) или специальных визуальных компонентов (выпадающих списков, владок и прочего). Мультиданные. Типичные статические средства визуализации не могут связать и отобразить между собой более чем несколько параметров данных. В продвинутых платформах визуализации, напротив, учитываются множественные данные различных типов, прочно завязанные друг с другом, так что при обновлении какой-то части информация автоматически меняется на всех других панелях. Анимированная визуализация. Некоторые параметры, например, время, могут иметь сотни и сотни значений, так что отслеживание общей картины для каждого параметра в отдельности может стать достаточно трудоемким заданием. В таких случаях на Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 помощь приходит анимация, позволяющая запустить переход от параметра к параметру в автоматическом режиме. Персонализация. То, что интуитивно понятно и необходимо одному пользователю, может совершенно не подойти другому. Кроме того, в большинстве компаний для защиты информации и минимизации рисков предусмотрены различные уровни доступа к корпоративным данным. Платформы ADV позволяют автоматически применять персональные настройки и предпочтения. Использование оповещений. Мощные ADV платформы могут подавать сигнал, когда не в состоянии корректно обработать большие массивы данных. Или, например, сигнал подается в тот момент, когда найдено какое-то критическое значение, причем оповещение может подаваться в том числе с помощью электронной почты и текстовых сообщений. Лидеры рынка платформ продвинутой визуалиации данных Forrester Research, 2012 По данным Forrester Research, к лидерам на рынке ADV платформ относятся такие компании как Tableau, IBM, Information Builders, SAS, SAP, Tibco, и Oracle. Решения этих вендоров предоставляют значительные возможности для визуализации, хорошо сбалансированные для создания различных запросов. Сильными игроками на этом рынке также являются Microsoft, MicroStrategy, Actuate Software, QlikTech, SpagoBI и Panorama Software. Альтернативой мега вендорам также являются Jaspersoft и Pentaho, чьи решения можно использовать по подписке. 136 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Для чего нужны In-Memory СУБД? Технологии вычислений в оперативной памяти (in-memory computing) ускоряют обработку больших объемов данных, поэтому по мере роста такого явления как Big Data приобретают все большую популярность среди предприятий. FAQ по in-memory СУБД Системы управления базами данных in-memory (in-memory СУБД, англ. - in-memory database systems, IMDS) это растущий сегмент мирового рынка СУБД. Создание in-memory СУБД стало ответом на появление новых задач, которые стоят перед приложениями, новых системных требований и операционного окружения. Что такое in-memory СУБД? In-memory СУБД — это система управления базами данных, которая хранит информацию непосредственно в оперативной памяти. Это радикально контрастирует с подходом традиционных СУБД, которые сконструированы для хранения данных на стабильных медиа носителях. Поскольку процессы обработки данных в оперативной памяти протекают быстрее, чем обращение к файловой системе и считывание информации из нее, in-memory СУБД обеспечивает на порядок более высокую производительность программных приложений. Поскольку конструкция in-memory СУБД намного проще традиционных, они также налагают гораздо меньшие требований к объему памяти и характеристикам ЦПУ. Если целью является отказ от процессов ввода/вывода, почему не добиться ее с помощью кэширования? Кэширование — это процесс, в рамках которого традиционные СУБД хранят часто используемые записи в памяти для быстрого доступа к ним. Однако, кэширование ускоряет только процесс поиска необходимой информации, а не ее обработки. Следовательно, выигрыш в производительности существенно меньший. Кроме того, управление кэш-памятью само по себе является ресурсоемким процессом, который задействует значительные объемы памяти и вычислительные мощности процессора. Можно ли получить эффект, аналогичный in-memory СУБД, создав диск в памяти (RAM диск) и развернув традиционную СУБД на нем? В качестве временного решения размещение всей базы данных на диске RAM может ускорить запись и чтение базы. Тем не менее, у такого подхода есть ряд недостатков. В частности, база данных все еще будет привязана к дисковому накопителю, и процессы в базе данных, такие как кэширование и ввод/вывод данных, будут осуществляться, даже если они избыточны. Кроме того, к базе данных, размещенной на диске, адресуется множество запросов, они требуют времени и ресурсов процессора, и этого никак не избежать в случае с традиционной СУБД, даже если она размещена на RAM. Напротив, in-memory СУБД используют единый дата-трансферт, что упрощает обработку данных. Удаление лишних копий данных снижает нагрузку на память, а также повышает надежность процесса и минимизирует требования к ЦПУ. 137 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Есть ли данные, характеризующие количественную разницу производительности между тремя подходами, описанными выше? Согласно опубликованным тестам McObject, в ходе которых сравнивалась производительность одного и того же приложения, перенесение традиционной СУБД в RAM позволило добиться ускорения чтения в 4 раза и обновления базы в 3 раза по сравнению с традиционной СУБД на жестком диске. In-memory СУБД показала еще более существенные результаты в сравнение с СУБД на RAM диске: чтение базы данных было в 4 раза быстрее, а запись в базу данных оказалась быстрее в 420 (!) раз. Производительность in-memory СУБД eXtremeDB по сравнению с СУБД db.linux на RAM диске McObject, 2009 Что еще отличает in-memory СУБД от традиционной? In-memory СУБД не несет на себе никакой нагрузки от операций ввода/вывода данных. Изначально архитектура таких баз данных более рациональна, а процессы загрузки памяти и циклы процессора оптимизированы. Для каких приложений актуально использование in-memory СУБД? In-memory СУБД обычно используются для приложений, которые требуют сверхбыстрого доступа к данным, хранилищам и манипуляций с ними, а также в системах, которые не имеют диска, но, тем не менее, должны управлять значительным количеством данных. 138 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Насколько масштабируемы in-memory СУБД? Если приложение управляет терабайтом данных – много ли это для in-memory СУБД? Согласно отчету McObject, in-memory СУБД отлично масштабируются за размеры, превышающие терабайт. Так, в ходе проведенных тестов 64-битная in-memory СУБД установленная на 160-ядерном сервере SGI Altix 4700 под управлением SUSE Linux Enterprise Server версии 9 от Novell достигла 1,17 терабайт и 15,54 млдр строк без видимых ограничений для дальнейшего масштабирования. Причем производительность в данном тесте практически не менялась по мере того, как СУБД достигла сотен гигабайт, а затем и терабайта, что свидетельствует о практически линейной масштабируемости. Разве это не правда, что in-memory СУБД не подходит для использования в сетях из нескольких и более компьютеров? In-memory СУБД может быть как «встроенной СУБД», так и «клиент-серверной». Клиентсерверные СУБД по сути своей являются многопользовательскими, так что in-memory СУБД также могут быть разделены на несколько потоков/процессов/пользователей. In-memory вычисления: факты Новый отчет компании Aberdeen Research обращает внимание не только на несколько интересных фактов о Больших данных, трудностях в обработке и анализе растущего объема данных, но и на то, каким образом вычисления в памяти могут играть ключевую роль в ускорении сбора, совместного использования информации на предприятии и управления ею. По крайней мере, на тех предприятиях, которые могут себе это позволить. Каждый год объем бизнес-данных растет на 36%. Главная проблема при обработке больших данных заключается в том, как получить результат быстрее (данные из декабрьского отчета 2011 г). Из 196 клиентов Aberdeen, обсуждавших Большие данные, 33 используют вычисления в памяти. Причина, по которой большинство отказывается от этой технологии, заключается, скорее всего, в ее дороговизне. Получение информации по запросу занимает 42 с вместо 75 мин, затрачиваемых при использовании обычных технологий. При вычислениях в памяти обрабатывается 1200 Тб/ч, по сравнению с 3,2 Тб при использовании обычных технологий. Налицо повышение эффективности в 375 раз. Вычисления в памяти, проще говоря, делают быстрыми обработку и анализ информации, и это хорошо для пользователей и ИТ-организаций, имеющих дело с увеличивающимися объемами информации, используемой при принятии бизнес-решений. 139 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Источники данных в зависимости от размера компании TechTarget, декабрь 2011 По данным компании TechTarget, in-memory СУБД наиболее часто используют компании среднего размера (23%) по сравнению с небольшими (18%) и крупными компаниями (15%). Проблемы применения in-memory вычислений Но вычисления в оперативной памяти, как и любая технология, имеют свои уникальные особенности, проблемы и подводные камни. Во-первых, это недёшево. Нужны мощные серверы, многоядерные процессоры и тонны оперативной памяти. Необходимо соответствующее ПО и аналитические приложения. Технология скоростной обработки требует применения всех перечисленных компонентов, поскольку терабайты данных хранятся с `нулевой` латентностью доступа непосредственно в оперативной памяти серверов, а не где-то на дисках. Хотя производители не оглашают цены на приложения для вычислений в памяти и в отчете также не приводятся цены, вполне достаточно взглянуть на статистику из отчета: предприятие, использующее вычисления в памяти, потратило около 850 000 долл. за последние 12 мес. Другая проблема технологии вычислений в оперативной памяти в том, что она хорошо подходит только для транзакций с наборами структурированных данных, таких как артикулы товаров, информация о покупателях, отчеты по продажам. Если ваша компания располагает средствами и понимает ценность информации в современной бизнес-стратегии, технология вычислений в оперативной памяти может стать для вас подходящим выбором. Продукты Создание in-memory СУБД началось в 1993 году в Bell Labs. Система была прототипирована как Dali Main-Memory Storage Manager. Эти исследования положили начало созданию первой коммерческой in-memory СУБД - Datablitz. 140 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 В последующие годы in-memory СУБД привлекли внимание крупнейших игроков рынка баз данных. TimesTen, компания-стартап, основанная Мари-Энн Неймат (Marie-Anne Neimat) в 1996 году как ответвление от Hewlett-Packard, была приобретена Oracle в 2005 году. Сегодня Oracle продает этот продукт в том числе как in-memory СУБД. В 2008 году IBM купила SolidDB, также ведет работу в области in-memory СУБД и Microsoft. VoltDB, основанная одним из пионеров рынка СУБД Майклом Стоунбрейкером (Michael Stonebraker), анонсировала выход in-memory СУБД в мае 2010 года, на данный момент компания предлагает как свободную, так и проприетарную версию этой системы. SAP выпустила in-memory СУБД, SAP HANA, в июне 2011 года. Перечень доступных на рынке in-memory СУБД: 141 Adaptive Server Enterprise (ASE) 15.5 Apache Derby Altibase BlackRay CSQL Datablitz Eloquera EXASolution EXASolution EXtremeDB Finances Without Problems FleetDB H2 HSQLDB IBM TM1 InfoZoom KDB #liveDB Membase Mercury MicroStrategy MonetDB MySQL Oracle Berkeley DB Panorama ParAccel Polyhedra IMDB QlikView RDM Embedded RDM Server RDM Server Redis SolidDB by IBM SAP HANA SQLite SQLite Starcounter Tarantool TimesTen by Oracle Vertipaq Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 VoltDB WebDNA TREX Xcelerix by Frontex WX2 by Kognitio Xeround Российские реалии Российским заказчикам доступно множество решений in-memory. Среди наиболее используемых − решения Oracle, IBM Cognos TM1, SAP HANA, Microsoft PowerPivot, QlikView и Pentaho Business Analytics. Такие платформы хорошо использовать при необходимости анализа данных в режиме реального времени с учетом того, что в процессе анализа данные могут быть изменены в любой момент. Также такие решения хорошо подходят в случаях, когда нет возможности создания многомерного хранилища данных и нужно проводить анализ данных учетной системы без ее модификации. Системы предлагают различные способы горизонтального масштабирования, как с использованием средств самой платформы, так и с применением дополнительного ПО. В частности, функцию работы с виртуальными кубами в Pentaho Business Analytics можно масштабировать с использованием промышленного решения JBoss Data Grid, которое предназначено для создания распределенных in-memory хранилищ информации. Привел пример Дмитрий Зайцев, руководитель центра компетенции, центр заказной разработки ПО компании «АйТи». При таком подходе можно создавать in-memory кубы объемом 1 Тб и выше. С точки зрения ценовой доступности, эти решения вполне позволительны для SMB компаний. В частности, для SMB рынка у IBM есть комплексное решение Cognos Express (TM1 является ее частью), а у Pentaho есть бесплатная версия и специальные ценовые предложения для небольших компаний. Большинство наших проектов на этих платформах были выполнены в интересах российских государственных органов и средних коммерческих компаний. Строго говоря, технологии in-memory делятся на два класса. Это решения data discovery и именно in-memory, или, как правильнее, «in-memory системы управления базами данных (СУБД)». Пример решения data discovery - Qlikview. Данные в этой системе представлены в удобной форме, а использование технологии in-memory позволяет работать с визуальной составляющей быстро. Но к ней нельзя подключить другие инструменты: данные из файлов Microsoft Excel, систем Cognos или Oracle BI. In-memory СУБД – это когда данные изначально хранятся в оперативной памяти, и доступ к ним практически не занимает времени. Например, главному бухгалтеру компании нужно посмотреть отчет за позапрошлый год в динамике по дням: если запустить этот процесс на классической СУБД, на него уйдет минимум 10 минут (при правильной настройке системы). Если информация хранится в оперативной памяти, результат появится мгновенно. Qlikview, скорее, относится к data discovery. Пример такого решения - SAP HANA. Эта система, являясь СУБД, предоставляет доступ к памяти любому BI-инструменту: можно загрузить данные из таблиц Excel, систем Cognos, Oracle BI и других, пояснил TAdviser эксперт компании КРОК Максим Андреев. Стоимость таких решений складывается из множества факторов, начиная от сроков внедрения проекта и заканчивая стоимостью самой технологии. Некоторые решения действительно стоят дорого, но быстро окупаются за счет повышения эффективности и 142 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 оперативности работы. Такие продукты востребованы в любой компании, где важно получать аналитические отчеты оперативно. Например, в случае, если аналитику нужно сформировать отчет, состоящий из 30 Excel файлов, ему потребуется минимум 3 дня для того, чтобы свести его вручную. При наличии необходимых ИТ-систем, ему достаточно лишь указать на эти 30 файлов, после чего система сама сформирует единый отчет, с которым можно будет работать. Владимир Иткин, директор по развитию партнерской сети QlikTech Россия, рассказал TAdviser, что на сегодняшний день в России реализовано порядка 300 проектов с использованием технологии обработки информации в оперативной памяти на платформе QlikView. «В 2008 году мы пришли на российский рынок. Тогда это было неизведанной технологией, которую многие боялись, в которую многие не верили. Именно тогда появилось очень много мифов о высоких требованиях к «железу», о стоимости таких решений и о низкой надежности. Мы считаем, что за пять лет работы в России эти мифы удалось сломать», поделился он. По словам Владимира Иткина, отличие QlikView – в ориентации на простоту и удобство в построении отчетов. При таком подходе существенно сокращается цикл внедрения, и многие наши партнеры могут работать в режиме экстремального программирования. Это итерационный подход, где длительность одного цикла обычно не более недели. Таким образом, бизнес пользователь уже с первых дней проекта начинает видеть результат и принимает участие в создании решения. «Через 5-6 таких итераций на выходе получается не просто BI-решение, а актуальный и «живой» инструмент аналитика. Из последних проектов в таком режиме можно назвать «Геотэк Холдинг» и аптечную сеть А5», - пояснил топменеджер. По его словам, около 77% всех проектов, от совместного создания ТЗ до запуска в промышленную эксплуатацию внедряются менее чем за 3 месяца. Треть клиентов внедряют QlikView самостоятельно. Например, не так давно КРОК реализовал проект по объединению баз маркетинговой информации в единое информационное пространство в фармацевтической компании «Никомед». Раньше для поиска и анализа информации использовались различные оболочки работы с маркетинговыми данными, которые зачастую были неудобными и не интуитивно понятными. После внедрения решения работа с хранилищем данных стала обеспечиваться аналитической системой Qlikview, благодаря которой работа с разрозненной информацией стало быстрой и удобной. В «М.Видео», например, была внедрена система SAP HANA с технологией in-memory computing. Система хранения и анализа данных, которая была у заказчика раньше, уже не справлялась с таким объемом информации – данные в более чем 2,5 млрд строк загружались около 3 часов. После внедрения SAP HANA система загружает эти данные менее чем за 30 минут. В пример можно привести и проект «Терн» для «Сургутнефтегаз». Главной задачей проекта было сокращение временных затрат на подготовку отчетов, начиная от обработки данных и заканчивая визуализацией полученных результатов. Время подготовки отчетов сократилось в результате сотни раз, и уже сейчас пользователи могут работать со своими аналитическими запросами практически в режиме онлайн. 143 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Предикативная аналитика Дальнейшее развитие мирового рынка бизнес-анализа пойдет по пути активного освоения advanced (продвинутой) аналитики, в том числе предикативного анализа, построения симуляторов и вариативных моделей. Что такое предикативная аналитика? Предикативная или прогностическая аналитика (Predictive analytics) - это прежде всего множество методов статистики, анализа данных и теории игр, которые используются для анализа текущих и исторических данных/событий для прогноза данных/событий в будущем. Наиболее известный способ использования прогностической аналитики – это применение скоринговых моделей для оценки платежеспособности клиента при выдаче кредитов в банке. Любая скоринговая модель строится на исторических данных, и если в прошлом, какая-либо группа клиентов была уличена в несвоевременном гашении кредитов, а вы по каким-либо характеристикам схожи с этой группой, то скорее всего в выдаче кредитов вам откажут. Однако это не все области, где применяется предикативная аналитика, ее можно применять для разработки продуктов, для выбора потенциальной аудитории, для выбора следующего продукта, который вы можете предложить клиенту (Next Best Offer) и множестве других. Родственным по отношению к предикативной аналитике является понятие data mining, так как предикативная аналитика использует частично подобные методы. Центральной же сущностью предиктивной аналитики является задача определение предиктора или нескольких предикторов (параметров или сущностей, которые влияют на прогнозируемое событие). Например, страховые компании выделяю такие предикторы, как возраст, стаж вождения при определении страховой премии. Множество этих предикторов образует модель предиктивной аналитики, которая предсказывает определенное событие в будущем с какойто степенью вероятности. Аналитики Gartner полагают, что дальнейшее развитие мирового рынка бизнес-анализа пойдет по пути активного освоения advanced (продвинутой) аналитики, в том числе предикативного анализа, построения симуляторов и вариативных моделей. Возможность к построению таких моделей в 2013 году в Gartner назвали 15 обязательным блоком корпоративных BI-платформ. Аналитика класса advanced использует статистику, описательные и предикативные инструменты data mining (разведки данных), симуляторы и оптимизационные средства. Конечная цель применения всех этих инструментов – принятие решений, решение бизнесзадач и идентификация возможностей для составления наилучших прогнозов, выявления процессов, паттернов и прочих закономерностей. Чтобы предикативный анализ был успешным, в Forrester рекомендуют четко следовать следующим стадиям: постановка цели, получение данных из различных источников, подготовка данных, создание предикативной модели, оценка модели, внедрение модели, мониторинг эффективности модели. 144 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Схема внедрения инструментов предикативного анализа Forrester Research, 2013 Области применения В отличии от data discovery средства предикативной аналитики адресованы специалистам, поэтому не применяются столь широко. По данным Gartner за 2012 год, только 13% пользователей BI широко задействуют средства предикативного анализа. Менее 3% используют такие методы как математическое моделирование, симуляторы и оптимизацию. Эксперты считают, что не стоит ждать массовых внедрений в этой области, но тренд будет постепенно меняться. Причина тому – появление феномена больших данных, который подталкивает организации к поиску новых средств обработки информации. В Gartner считают, что те компании, которые будут применять продвинутую аналитику к большим данным, будут расти на 20% быстрее конкурентов. По мнению Эрика Сигеля (Eric Siegel), эксперта по предикативному анализу, изложенному в его одноименной книге «Predictive Analytics», область применения предикативного анализа в действительности весьма широка. Он приводит 10 наиболее распространенных примеров: 145 Директ маркетинг: задача состоит в повышении числа откликов путем интеграции данных о клиентах из различных веб и социальных источников. Компании могут определять эффективность промо кампаний, разделяя потенциальных клиентов по сегментам, местоположению или каналам доставки. Предикативный таргетинг рекламы: любой рекламодатель хочет знать, какое сообщение является наиболее эффективным. Рекламу можно демонстрировать наилучшим образом онлайн, основываясь на подобии кликов, причем клиенты только выиграют от подачи более релевантного контента. Выявление мошеннических схем: средства предикативного анализа позволяют минимизировать использование мошенниками фальшивых схем страхования, получения кредита и тому подобное. Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Управление инвестиционными рисками: средства предикативного анализа позволяют оценить потенциал того или иного стартапа или другого актива. Метод может использоваться компаниями и для выбора партнера, кандидата на покупку или даже вендора. Удержание клиентов: предикативный анализ позволяет рассчитать поведение клиентов, а также учесть негативные факторы, влияющие на их решения. Рекомендательные сервисы: пользователям можно рекомендовать товары или контент на основе данных о предыдущих просмотрах, интересах или анализа комментариев в Twitter. Образование: средства предикативной аналитики могут использоваться для обеспечения более эффективных методик преподавания. Политические кампании: моделирование процесса голосования. Системы принятия решения в медицине: предикативный анализ может на основании множества факторов выявить склонность пациентам к заболеваниям типа сахарного диабета, астмы и других болезней, связанных с образом жизни. Страхование и ипотечное кредитование: точное определение разумной суммы покрытия в каждом страховом случае. Ключевые игроки Open source системы предикативного анализа: KNIME Orange Python R RapidMiner Weka Коммерческие системы предикативного анализа: 146 Angoss KnowledgeSTUDIO IBM SPSS Statistics and IBM SPSS Modeler KXEN Modeler Mathematica MATLAB Oracle Data Mining (ODM) Pervasive SAP SAS and SAS Enterprise Miner STATISTICA Tibco Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Лидеры на рынке предикативного анализа в области больших данных Forrester Research, 2013 По данным исследования Forrester Wave за 2013 год, лидерами на рынке решений предикативного анализа в области больших данных являются SAS, SAP и IBM. Также довольно сильна экспертиза Tibco, Oracle, StatSoft и KXEN, тогда как перспективными вендорами являются Angoss, Revolution Analytics и Salford Systems. 147 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Cloud/SaaS BI: перспективы Успехи облачных и SaaS аналитических систем пока не столь значительны как, например, SaaS HRM, но аналитики считают, что эта модель сможет в перспективе занять свою нишу на рынке. К выбору cloud/SaaS BI, впрочем, они советуют относиться с осторожностью, поскольку преимущества этого подхода применительно к аналитическим системам либо преувеличены, либо краткосрочны. Согласно данным исследования Gartner, которое проводилось среди бизнес-пользователей BI платформ в четвертом квартале 2011 года, только 17% организаций заменили или планировали заменить часть ключевого BI функционала облачными или SaaS решениями. Тем не менее, SaaS остается важной опцией для ряда клиентов. 30% опрошенных в ходе исследования признали, что-либо уже используют облачные возможности BI, либо планируют сделать это в ближайшие 12 месяцев. Джеймс Ричардсон, исследовательский директор Gartner, говорит, что бизнес-пользователи зачастую разочарованы циклами внедрения, затратами, сложностью процессов модернизации и требованиями к ИТ-инфраструктуре, которые необходимы для внедрения на предприятии on-premises BI системы. «SaaS и облачные BI решения воспринимаются как более быстрый, потенциально более дешевый и простой в установке альтернативный подход, хотя все выше перечисленное еще предстоит доказать. Очевидно, что несмотря на растущий интерес, пользователь пока еще плохо представляет, что собой являет cloud/SaaS BI и аналитика и какие преимущества они несут», - отметил эксперт. Gartner выделяет три основных драйвера, играющих решающую роль в адаптации модели cloud/SaaS BI, аналитики и performance management: Time to value: Использование SaaS BI может гарантировать более быстрое развертывание и даже скорейшее получение положительного эффекта, особенно когда развитие ИТ на предприятии сдерживается за счет ограниченного бюджета, так что технологии не могут отвечать на информационные и аналитические запросы так быстро, как этого требует бизнес. Проблемы стоимости: Стоимость установки и владения on-premises и SaaS BI систем отличается. Приобретение SaaS продуктов обычно фиксируется в расходах компании, а не в ее капитализации. Покупатели часто считают, что SaaS дешевле, но реально это еще не доказано. Модель Gartner свидетельствует о том, что использование SaaS может быть дешевле в течение первых пяти лет, но не долее этого срока. Долгосрочные же выгоды концентрируются в других областях: в области денежных потоков, а также сокращении расходов на ИТ-поддержку и так далее. Отсутствие доступной экспертизы: SaaS аналитика предоставляет компаниям готовые интеллектуальные наработки, которые могут пригодиться компаниям в отсутствии навыков, необходимых для создания собственных аналитических решений. Наиболее вероятным сценарием для развития cloud/SaaS BI является использование таких решений в новом качестве: например, для компаний среднего размера, которые ранее не инвестировали в аналитику. 148 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 В Gartner полагают, что покупку cloud BI/аналитических систем стоить рассматривать тем компаниям, у которых в облаке уже размещены другие, операционные бизнес-приложения. Тем не менее, они должны оценивать риски на постоянной основе и убедиться в том, что выбрали облачного провайдера, которые имеет навыки для обеспечения жизнеспособного результата. Также должна быть четко проработана стратегия использования генерируемых сервисом данных. 149 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Open Source BI Исследователи отмечают, что решения BI с открытым кодом становятся все более зрелыми и приближаются по функциональным возможностям к своим коммерческим аналогам, поэтому все больше компаний рассматривают модель Open Source BI как эффективное средство сокращения издержек от использования бизнес-аналитических инструментов. Развитие рынка open source BI Ситуация с BI-решениями с открытым исходным кодом кардинально изменилась за последние несколько лет, считает Gartner. Вряд ли какая-либо организация рассматривала BI-решения с открытым исходным кодом до 2004 года, не говоря уже о развертывания таких систем для большого числа пользователей, однако в последние несколько лет это направление демонстрирует значительные темпы роста. Хотя средняя сумма контракта по BI-решениям с открытым исходным кодом остается примерно на уровне $30 тыс. за годовую подписку, некоторые контракты значительно превышают сумму $500 тыс. за многолетнюю подписку, что соответствует уровню цен многих коммерческих разработчиков. Хотя BI-решения с открытым исходным кодом могут быть развернуты в организациях любой отрасли промышленности, большее количество внедрений наблюдается в финансовом секторе и сфере телекоммуникаций. Системы с открытым исходным кодом чаще встречаются в компаниях среднего размера, а также в правительстве и в государственном секторе, здравоохранении и производстве и реже в компаниях с меньшим бюджетом. Многие разработчики программного обеспечения используют BI-системы с открытым исходным кодом, добавляя ее в качестве дополнительного функционала в свои приложения. Кроме того, системные интеграторы начали развивать свою практику вокруг технологий с открытым исходным кодом. Они также внедряют BI-платформы, в основном, отчеты и информационные панели (dashboards), в рамках основного договора. Исследователи отмечают, что решения BI с открытым кодом становятся все более зрелыми и приближаются по функциональным возможностям к своим коммерческим аналогам, поэтому все больше компаний рассматривают модель open source BI как эффективное средство сокращения издержек от использования бизнес-аналитических инструментов. «Открытые» BI-системы: за и против Open source и BI остаются двумя сегментами софтверного рынка, где Forrester Research отмечает растущий интерес пользователей, а также увеличивающееся проникновение решений. По данным на август 2010 года, около 7% опрошенных Forrester компаний использовали BI решения с открытым исходным кодом (для сравнения – более половины этих же компаний в аналогичный момент времени использовали open source операционные системы). 150 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Какие из ниже перечисленных решений open source использует ваша компания? Forrester Research, 2010 Выгоды использования open source BI, по мнению экспертов Forrester, аналогичны тем, что характерны и для других классов open source продуктов: 151 Низкие капиталовложения (capex): главное качество, которое склоняет пользователей именно в сторону использования open source BI. Софт бесплатен, впрочем, это не отменяет расходы на поддержку решения, как со стороны внешнего поставщика или системного интегратора, так и усилиями внутренней команды, которые также должны быть оплачены. Гибкие источники поддержки: когда речь идет о покупке проприетарной системы, нормальной считается стоимость годового соглашения о поддержке, составляющая 20-25% от бюджета. Такая поддержка гарантирует две возможности: обращаться в службу поддержки и обновлять продукт до новых версий. Эти опции оплачиваются даже в том случае, если они не используются. В случае с open source BI у заказчиков всегда есть возможность отказаться от поддержки, сменить провайдера сервиса или инвестировать средства в создание собственной службы поддержки. Широкие возможности для интеграции: в случае с open source BI отсутствуют какие бы то ни было ограничения на интеграцию таких систем с другими корпоративными приложениями. Проблемы несоответствия API не существует, так что такая интеграция может осуществляться сколь необходимо глубоко. Участие в «судьбе» решения: компании, использующие open source продукты на протяжении долгого времени, отмечают следующий феномен. Отсутствие коммерческого закрытого кода стирает барьеры между пользователями и разработчиками, так что предприятия могут следить за изменениями в ядре продукта и даже подспудно оказывать влияние на них. Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Однако, использование open source на уровне предприятия традиционно рассматривается с осторожностью, поскольку использование системы, разрабатываемой свободным сообществом, с каким бы энтузиазмом они это ни делали, всегда заставляет учитывать риск поддержки такой системы в дальнейшем. Точнее, отсутствия такой поддержки. Поэтому все больше число компаний выбирают третью модель – коммерческий open source BI, поскольку она сочетает преимущества первых двух подходов. Конкурентная ситуация: ведущие поставщики По данным исследования Forrester Wave за 2010 год, лидером на рынке open source BI систем является Actuate BIRT. Forrester Wave: Open Source Business Intelligence Forrester Research, 2010 В сегменте систем, имеющих прочные позиции на рынке, Forrester поместила Spago BI, Pentaho Enterprise, Jaspersoft Enterprise и Pentaho Community. По мнению аналитиков, эти решения сопоставимы между собой. Интересно, что пограничное положение между сегментом претендентов и сегментом систем с прочной репутацией заняла системы Eclipse BIRT. В сегмент претендентов также помещена система Jaspersoft Community. Последние две не могут пока рассматриваться как промышленные BI платформы, однако, в ряде случаев они могут выступать как best-of-breed решения. Интересно, что Gartner в своем отчете по рынку open source BI по состоянию на начало 2010 года называла крупнейшими поставщиками на этом рынке следующие компании: Actuate Software, Jaspersoft, Jedox, Pentaho and SpagoWorld. 152 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Экономический эффект open source BI-проектов Корпорация Pentaho, разработчик Open Source BI-системы, провела исследование, насколько эффективны BI-системы c открытым кодом. В ходе исследования аналитиками были проанализированы расходы на внедрение и поддержку лидирующих на рынке BI-решений помимо Pentaho BI: IBM Cognos, MicroStrategy, Oracle BI и SAP Business Objects. Они пришли к выводу, что издержки от внедрения и поддержки open source BI-систем существенно меньше по сравнению с коммерческими продуктами. Сокращение издержек в течение трех лет при использовании open source BI-систем Pentaho, 2010 Так, для небольшого BI-проекта экономия от open source системы может составить до 50% стоимости проекта или около $36000 по сравнению с проприетарными решениями, говорится в отчете. Для BI-внедрений, рассчитанных на 500 пользователей и более, экономия может составлять до 90% или около $1,5 млн в денежном выражении. Ключевым показателем для расчета стоимости владения аналитики взяли стоимость использования решения в пересчете на одного пользователя в течение трех лет. Результаты ранжированы по конкретным вендорам и масштабу проектов. С точки зрения масштаба аналитики выдели три основных типа BI-проекта: небольшой (до 25 пользователей), средний (до 100 пользователей) и крупный (до 500 пользователей и более). 153 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Затраты на одного пользователя BI-системы в течение трехлетнего периода, в зависимости от масштаба проекта и вендора Pentaho, 2010 Среди лидирующих коммерческих BI-систем самым дорогостоящими применительно к крупным проектам являются решения от SAP: стоимость владения этими решениями в течение трех лет в расчете на одного пользователя составит более $4200. Для проекта среднего масштаба максимальная сумма в расчете на одного пользователя – у Oracle (также более $4200), а для небольшого проекта – у IBM Cognos (более $4000). Вместе с тем, Cognos наиболее выгоден с точки зрения TCO применительно к большому проекту по числу пользовательских лицензий. Одним из основных факторов экономии совокупной стоимости владения (ТСО) является тот факт, что в случае с Open Source BI-системами нет необходимости приобретать лицензии, в том числе докупать их по мере роста бизнеса и увеличении числа пользователей решения. Таким образом, основной статьей расхода для такого решения остается сервисная поддержка. 154 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Интервью с заказчиками Арташес Симонян: QlikView позволила нам добиться контроля над бизнесом Компания «Америя» занимается оптовой продажей продуктов питания. Это высоко конкурентный рынок, где только постоянный контроль за ассортиментом, продажами и действиями других торговых компаний может обеспечить успех бизнеса. Контролировать и анализировать бизнес-процессы «Америи» помогает BI-система на платформе QlikView, внедрение которой идет полным ходом. О том, зачем дистрибуторам аналитика, о важности простоты и гибкости решения для конечных пользователей TAdviser рассказал Арташес Симонян, заместитель генерального директора по финансам «Америя». TAdviser: Арташес, скажите, пожалуйста, «Америя» уже более 10-ти лет работает на российском рынке продуктов питания: за время компании как эволюционировало использование информационных технологий? Насколько важную роль играют ИТ в бизнес-процессах? Арташес Симонян: Если раньше в большинстве крупных компаний для ведения ежедневной рутинной деятельности использовались классические офисные приложения, то сегодня ИТ-технологии являются ключевым инструментом не только для повышения эффективности работы различных подразделений и выявления слабых мест, но и становятся основными «козырями» в конкурентной борьбе. ERP-система способна полностью закрыть вопросы по управленческой отчетности, а Business Intelligence становится реальным подспорьем для руководителя, которому необходимо иметь достоверные данные, принимать стратегически верные решения, а также осуществлять дальнейшие прогнозы по различным ситуациям. Это особенно важно для дистрибуторов – без аналитики невозможно следить за ценообразованием, управлять ассортиментом и логистикой, понимать специфику работы отдела маркетинга и следить за «выхлопами» от промо-акций. 155 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 «Америя Русс» была основана в 1993 году, сегодня мы продолжаем развиваться, стремимся к расширению области деятельности и работаем над усовершенствованием внутренней структуры управления в компании. Могу с уверенностью сказать, что без использования специализированных бизнес-решений, это было бы невозможно. TAdviser: Как вы пришли к необходимости создания аналитической системы? Обычно этому эволюционно предшествует этап внедрения учетных систем и накопления определенной критической массы данных. Так ли это было в вашем случае? Арташес Симонян: Мы подбирали решение, способное не только анализировать отдельно взятые ситуации и учитывать влияние на них внешних факторов, но и в итоге давать объективную оценку происходящему. Действительно, ERP-система позволяет в полной мере решить задачи учета и оптимизации, но не способна предоставить целостную картину. Изначально мы запустили в промышленную эксплуатацию решение на базе Microsoft Dynamics AХ 2009 и планировали использовать OLAP-кубы для построения аналитических отчетов. Однако выяснилось, что особенности платформы позволяют создавать необходимые аналитические запросы только с помощью доработок системы, которые потребовали бы большого количества кодирования вручную, времени и средств на привлечение необходимых ИТ-специалистов. В итоге в качестве платформы бизнес-анализа мы выбрали QlikView. Ее выгодное отличие состоит в том, что система позволяет легко настраивать нужные запросы, а, кроме того, результаты вычислений в системе сохраняются, так что при поступлении аналогичных запросов не нужно производить их заново. На этом основывается главный принцип QlikView – data discovery, или поиск по данным, чего изначально мы не могли добиться от OLAP-кубов. TAdviser: По каким еще критериям вы выбирали аналитическую платформу? Какие решения вы рассматривали и почему именно на QlikView остановили окончательный выбор? Арташес Симонян: Основные характеристики, которые интересовали нас при выборе решения – возможность импортировать данные из ERP-системы, а также реализация в нем многофакторного анализа, благодаря которому можно углубиться в детализацию работы, как отдельного процесса, так и конкретного менеджера. QlikView – это система обработки информации в оперативной памяти, а также ассоциативная модель данных, которая полностью «развязывает руки» в обращении с информацией: пользователи не ограничены в своих манипуляциях с данными, обработкой информации и принятием решений. Также немаловажным фактором стало наличие интуитивно понятного пользовательского интерфейса, доступного даже для рядового менеджера. Помимо функционала мы также смотрели и на более приземленные вещи, такие как стоимость внедрения. Причем под стоимостью я подразумеваю и приобретение лицензий, и время, потраченное на настройку и адаптацию программного решения под специфические потребности компании. 156 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 TAdviser: Насколько велика была роль консультантов и внутренней ИТ команды в ходе реализации проекта? Как долго он длился? Расскажите, пожалуйста, о ключевых его этапах? Арташес Симонян: На данный момент проект находится на этапе развития и поэтому сложно выделить что-то определенное. Непосредственно анализ мы осуществляем своими силами, а реализация наших пожеланий в QlikView осуществляется силами наших партнеров. Интегратором системы является консалтинговая компания IT-Box, с которой мы начали сотрудничество на этапе внедрения системы. TAdviser: По итогам внедрения – что именно может система, которую вы создали? Сколько времени она находится в промышленной эксплуатации и как повлияло ее использование на ваш бизнес? Отмечаете ли вы какой-либо положительный эффект? Арташес Симонян: Внедрение и оптимизация системы позволили нам стать намного прозрачнее, понять, каким образом выстраиваются в компании все внутренние процессы. QlikView – очень гибкое, адаптируемое решение. Система предоставляет пользователям всю информацию в удобной форме: они могут в максимально короткие сроки, оперативно, не теряя времени на привлечение ИТ-специалистов, выполнять анализ и принимать решения. Мы еще окончательно не ввели систему в эксплуатацию и в полной мере оценить ее в работе не можем, но могу сказать, что эта система действительно способна обеспечить гибкий контроль за состоянием компании. TAdviser: Расскажите, пожалуйста, кто является основными пользователями системы? Существует ли какая-то иерархия доступа к данным? Насколько пользователи вольны в обращении с этими данными? Насколько система доступна им и понятна? Арташес Симонян: На данном этапе реализации проекта планируется что моделью «Продажи» будут пользоваться отделы, разделенные в структуре компании по категориям и отвечающие за взаимодействие с торговыми точками. Оперативный персонал сможет самостоятельно оценивать количество продаж, анализировать данные по конкретному магазину и самостоятельно в общих отчетах вносить локальные настройки под свои потребности. Модель «Финансы», соответственно, будет доступна финансистам, которые следят за структурой затрат, выручкой, а также контролируют работу «продавцов». Отдельно под потребности компании, IT-Box разрабатывает модель «Ретро-бонусы», благодаря которой мы будем рассчитывать и контролировать затраты, связанные с позиционированием и присутствием реализуемых нами брендов в супермаркетах. В системе заложены все ключевые элементы информационной безопасности, и мы планируем применять различные пользовательские политики, чтобы обезопасить работу всех сотрудников компании. TAdviser: Что, по-вашему мнению, отличает ваш проект от других проектов подробного рода? Были ли какие-то сложности в ходе проекта, с которыми удалось справиться? Арташес Симонян: Для меня это первый подобный проект и сравнивать его с другими будет сложно. Я самостоятельно занимаюсь настройкой отчетов в QlikView и могу с 157 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 уверенностью сказать, что даже для такой крупной компании как «Америя» его возможностей более чем достаточно. TAdviser: Существует ли планы по дальнейшему развитию системы на платформе QlikView? Арташес Симонян: Планы по развитию предполагают, во-первых, серьезное обучение собственного персонала методам программирования и конструирования документов, и вовторых, расширение областей анализа деятельности с помощью QlikView. Сегодня в компании «Америя Русс» с помощью системы ИТ-специалисты предоставляют пользователям возможность самостоятельно анализировать информацию из различных источников, а также оперативно оказывать поддержку бизнеса, строго контролируя защищенность и качество данных. В будущем мы стремимся к тому, чтобы каждый пользователь мог не только использовать готовые отчеты, но и самостоятельно ставить все необходимые фильтры и группировать данные. Сейчас же, повторюсь, проект находится на этапе развития решения и наши партнеры из IT-Box поэтапно разворачивают новую функциональность в QlikView. Также подготавливается модель «Гостевая книга» и интеграция запасов в «Продажи» и «Закупки». 158 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Антон Саламатов: Мы заложили основу для консолидации отчетности в рамках всего банка Стандартных BI-проектов, как известно, не бывает. Свои различия накладывает не только специфика отрасли, но и особенности бизнеса – в данном случае, конкретного банка. О том, как решались задачи консолидации отчетности и перехода на единый способ представления информации в различных подразделениях, какие критерии лежали в основе выбора аналитической платформы, и каких в итоге удалось достичь результатов, редакции TAdviser рассказал Антон Саламатов, начальник управления развития информационно-аналитических систем АКБ «Росевробанк». TAdviser: Скажите, пожалуйста, как вы подошли к необходимости создания аналитической системы? Использовался ли в АКБ РосЕвроБанк какой-либо аналитический инструмент до старта проекта? Антон Саламатов: Традиционно в банке использовался так называемый «раздельный» подход к выпуску управленческой отчетности. Бизнес-подразделения готовили пересекающиеся во многом отчеты с представлением одних и тех же данных, но обработанных по разным алгоритмам, что приводило к расхождениям в итоговых данных. Внедрение аналитической системы позволило облегчить переход на единые справочники и алгоритмы обработки данных, чтобы, во-первых, исключить расхождения в итоговых данных, предоставляемых подразделениями, и, вовторых, минимизировать количество дублирующих друг друга отчетов. До внедрения Oracle BI в качестве аналитического инструмента использовались средства Microsoft Office (MS Excel, MS Access) и MS Analysis Services. TAdviser: Какими критериями вы руководствовались при выборе аналитической платформы? Какие новые инструментальные возможности она вам предоставила? Антон Саламатов: Аналитическая платформа должна была отвечать ряду обязательных требований. А именно: Использование единой политики безопасности и разграничения доступа, наличие развитых инструментов администрирования и управления производительностью; 159 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Наличие единой модели метаданных для всего инструментария, набора инструментов программирования и графических методов сборки для развития системы; Возможность подключения нескольких источников данных; Развитые средства визуализации; Наличие гибкого инструментария для составления нерегламентированных запросов для "самообслуживания" аналитиков бизнес-подразделений; Тесная интеграция с MS Office: поддержка форматов документов, формул, обновления данных и сводных таблиц, обратная запись; Быстрый OLAP анализ при условии, что источником является реляционная (не многомерная) БД; Наличие законченных проектов внедрения системы в России, в том числе, в банках РФ; Наличие на рынке достаточного количества специалистов по данной BI системе. Выбранная нами платформа Oracle Business Intelligence отвечала всем этим критериям, а подрядчик – компания ФОРС представила нам целый портфель успешных внедрений. Очень важным было наличие в ИТ-компании специалистов, понимающих банковскую специфику изнутри и готовых к доработке продукта в соответствии с нашими требованиями. Вообще, постоянный диалог и самое тесное конструктивное сотрудничество со специалистами ФОРС на всех этапах проекта – это то, что следует выделить в особенности. TAdviser: Что дало совместное использование инструментария BI и Essbase? Оправдались ли ваши ожидания и ожидания конечных пользователей? Антон Саламатов: Основным преимуществом использования BI-отчетов на основе кубов Essbase является возможность более быстрой работы с отчетом: получение данных и разворачивание иерархий происходит в несколько раз быстрее, чем в отчетах, генерирующих SQL-запросы к реляционной СУБД. TAdviser: С какими трудностями пришлось столкнуться в ходе внедрения? Как они преодолевались? Антон Саламатов: В начале проекта было принято решение внедрять на тот момент новую версию продукта – Oracle BI EE 11g. В ходе реализации выяснилось, что во многом он был ещё «сыроват» и требовал доработки, поэтому приходилось на ходу вносить изменения в программный код, что несколько продлило запланированный срок внедрения. Тем, не менее, благодаря тому, что наш подрядчик оперативно находил пути обхода проблемы, все трудности были преодолены. TAdviser: Расскажите о результатах проекта. Какое влияние новые функциональные возможности системы оказали на операционную деятельность банка? Антон Саламатов: Главный итог проекта состоит в том, что была заложена база для консолидации отчетности в рамках всего банка. Реализация проекта позволила исключить работу со множеством файловых отчетов, обеспечить всем пользователям единую точку входа для работы с управленческой отчетностью, четко разграничить права доступа к информации, минимизировать различия в представлении одной и той же информации для схожих целей в отчетах различных подразделений. 160 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Были созданы такие важные блоки отчетности как управленческий баланс, процентный баланс и отчетность по отдельным направлениям деятельности. Своими силами мы разработали отчетность о прибылях и убытках, а также отчетность для руководства банка. TAdviser: На каких уровнях сейчас пользуются отчетами, которые готовит система? Произошли ли какие-либо качественные изменения в процессе подготовки отчетности? Антон Саламатов: На данный момент реализованными отчетами пользуются руководители бизнес-подразделений Банка уровня начальников Управлений и выше. Основными же пользователями и разработчиками отчетности являются сотрудники Финансово-экономического департамента, которые, в частности, готовят отчеты для руководства банка. В перспективе планируется реализовать dash-board’ы (витрины данных) для ведения оперативной аналитики, которыми пользовались бы члены Правления Банка. TAdviser: Как проходило обучение работе с системой? Сколько было обучено сотрудников, и в какие сроки? Как вы оцениваете доступность интерфейса системы обычным пользователям? Насколько легко им работать с системой, могут ли они самостоятельно создавать отчеты? Антон Саламатов: Обучение проводили преподаватели ФОРС по специально адаптированной под наши нужды программе, что очень важно, учитывая специфику наших требований. Оно велось в три этапа длительностью один день каждый. На каждом этапе обучение проходили 7 сотрудников. В процессе обучения использовалась уже реально работающая отчетность, реализованная на Oracle BI. Интерфейсы системы, которые обеспечивают работу с подготовленными отчетами, оказались легкими и удобными в работе, не вызвав у пользователей сложностей в освоении. Потребность в самостоятельном создании пользователями отчетов пока только начинает формироваться, поэтому данная практика еще не получила широкого распространения. TAdviser: Как планируется в дальнейшем развивать систему? Антон Саламатов: В ближайшее время мы планируем начать постепенный перевод управленческой отчетности всех подразделений на единый BI-инструментарий, а также внедрить практику самостоятельного создания отчетов аналитиками на основе единой модели предметной области. Сам BI-инструментарий Oracle достаточно гибок и удобен в использовании, поэтому для нас не составит труда развивать далее систему своими силами. 161 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Chiesi Pharmaceuticals: Внедрив QlikView, мы получили инструмент мгновенных ответов на вопросы Компания Кьези – основанная более 75 лет назад фармацевтическая компания со штаб-квартирой в городе Парма (Италия) и филиалами в 25 стране мира, которая занимается разработкой и производством оригинальных фармацевтических препаратов. В 2012 году в компании стартовал проект по внедрению аналитической системы QlikView для гибкого анализа больших массивов данных. О результатах внедрения и дальнейших планах по развитию системы QlikView рассказывают Юрий Васильев, директор отдела развития бизнеса Chiesi Pharmaceuticals, и Павел Карасев, руководитель департамента информационных технологий Chiesi Pharmaceuticals. TAdviser: Скажите, пожалуйста, Chiesi Pharmaсeuticals уже более 5-ти лет работает на российском рынке: за время существования местного представительства как эволюционировало использование информационных технологий в компании? Насколько важную роль играют ИТ в бизнеспроцессах? Юрий Васильев: Мы работаем на российском рынке уже более 7 лет, и за это время российское представительство Chiesi выросло с нуля. Естественно, быстрый рост сопровождался развитием большого количества новых бизнеспроцессов, которые было необходимо поддерживать при помощи различных классов информационных систем – ERP, CRM, баз данных по вторичным продажам, собственного приложения для ведения маркетинговых активностей (MARS) и так далее. TAdviser: Как вы пришли к необходимости создания аналитической системы? Обычно этому эволюционно предшествует этап внедрения учетных систем и накопления определенной критической массы данных. Так ли это было в вашем случае? Павел Карасев: Да, развитие аналитики в нашей компании шло достаточно стандартным путем. 7 лет назад вся отчетность начиналась с Excel. Постепенно объемы данных в наших системах и количество самих систем, из которых мы хотели видеть аналитику, росли. Как и многие наши коллеги по отрасли, мы столкнулись с проблемой анализа большого количества 162 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 данных и задумались об использовании удобного BI-инструмента для визуализации и эффективного использования информации. TAdviser: Какие решения вы рассматривали и почему именно на платформе QlikView Business Discovery остановили окончательный выбор? Павел Карасев: Выбирая BI-систему, мы изначально рассматривали вендоров и интеграторов с позитивным опытом создания аналитических решений для производителей фармацевтических препаратов. Основными критериями выбора для нас были скорость внедрения и функционал по визуализации данных. Изначально система QlikView привлекла нас своей гибкостью и легкостью работы с ней всех категорий сотрудников – от разработчика до конечного пользователя. Также очень впечатлил инструментарий для визуализации любых типов данных: многочисленные виды гистограмм, диаграмм, барометров, таблиц, графиков и т.д. По итогам рассмотрения аналитических решений, мы выбрали именно QlikView как систему с идеальным соотношением «цена-качество». TAdviser: Насколько велика была роль Консультационной Группы АТК и внутренней ИТ команды в ходе реализации проекта? Юрий Васильев: Мы изначально были нацелены на самостоятельное внедрение BIсистемы, поэтому выбирали интегратора с опытом разработки решений для фармацевтических компаний, чтобы при необходимости он мог нас поддержать целевыми консультациями. Консультационную Группу АТК мы выбрали в качестве нашего партнера по QlikView, поскольку компания продемонстрировала отличное понимание нашей отрасли, подтвержденное портфелем проектов по QlikView в 15 фармацевтических компаниях в России и СНГ. Павел Карасев: Могу сказать, что с выбором партнера мы попали в точку. До начала собственного внутреннего проекта мы прошли обучение по разработке и визуализации QlikView, проводимое Консультационной Группой АТК. Поскольку обучение проходило на наших реальных данных, мы смогли уже во время тренинга оценить систему. Первые результаты от использования QlikView мы получили прямо во время практической работы на тренинге, создав под руководством консультанта АТК наше первое приложение QlikView, «Sales Barometer». TAdviser: Как долго длился проект? Расскажите, пожалуйста, о ключевом функционале, который был разработан? Юрий Васильев: Сам проект очень «свежий», и функционал продолжает активно развиваться. Систему QlikView мы закупили летом 2012 года, а уже в январе этого года 163 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 представили разработанное за полгода полноценное аналитическое решение нашим коллегам на цикловом совещании. Павел Карасев: Мы развиваем аналитическое решение поэтапно. Начинали, как обычно, с аналитики продаж. Затем мы разработали приложение по анализу активностей медицинских представителей, эффективности маркетинговых инвестиций в продвижение препаратов, аналитику вторичных продаж по отчетам наших дистрибуторов. Кроме того, не только коммерческие и маркетинговые подразделения компании заинтересовались системой – финансовый директор теперь анализирует данных о прибылях и убытках (P&L) в QlikView, причем во всех возможных разрезах (по федеральным округам, субъектам, препаратам и так далее). TAdviser: В этом году Chiesi Pharmaceuticals присудили номинацию «Лучший дэшборд 2013» на Конкурсе Клиентских Приложений АТК QlikView. Расскажите более подробно о реализации дэшборда? Юрий Васильев: Для создания дэшборда мы объединили данные из более чем 5 разрозненных источников данных: CRM, данные о продажах из отчётов наших дистрибьюторов, данные по маркетинговым активностям из собственной системы MARS (Management Area Resource System), данные по сотрудникам и расходам из 1С Бухгалтерия. «Дэшборд» на основе этих данных позволяет получить высокоуровневую оценку деятельности компании по различным показателям: выполнение плана продаж как по всей России, так и по федеральным округам и субъектам федерации, инвестиции в конкретные товары, оценку затрат на их продвижение, динамику выполнения планов продаж, эффективность торговых представителей. Таким образом, дэшборд показывает общее положение дел, дает возможность локализовать проблему, и в рамках же этого приложения QlikView оценить причины возникновения и способы устранения проблемы. Из интересных средств визуализации упомяну геокарты – эффективный способ представления данных по объему продаж. TAdviser: Расскажите, пожалуйста, кто является основными пользователями системы? Существует ли какая-то иерархия доступа к данным? Насколько пользователи вольны в обращении с этими данными? Насколько система доступна им и понятна? Юрий Васильев: Поскольку проект внедрения QlikView был инициирован генеральным директором представительства Chiesi Pharmaceuticals в России, первыми пользователями системы стало руководство высшего уровня, а затем и представители среднего звена – региональные менеджеры. Сегодня все сотрудники Chiesi, так или иначе связанные с продвижением препаратов, уже имеют непосредственный доступ к аналитике QlikView – это и руководители большинства отделов (маркетинга, продаж, по работе с ключевыми клиентами, логистики), менеджеры по продукту, а также медицинские советники. TAdviser: По итогам внедрения – как повлияло использование системы QlikView на ваш бизнес? Отмечаете ли вы какой-либо положительный эффект? Были ли какие-то сложности в ходе проекта, с которыми удалось справиться? Павел Карасев: До внедрения QlikView каждый отдел анализировал существующие данные по-своему и зачастую значения показателей расходились. Теперь же, спустя полгода 164 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 промышленной эксплуатации системы, могу смело сказать, что у нас появилась единая точка зрения на данные, «единый источник правды», что не только облегчает саму работу и увеличивает эффективность, но и, безусловно, повышает оперативность решения бизнесзадач. К тому же, значительно сократилось количество запросов в ИТ-отдел по созданию новых отчетов и выгрузке данных. Юрий Васильев: Для меня, как для пользователя решения, самое большое достижение проекта – возможность находить ответы на те или иные вопросы моментально, прямо во время совещания или встречи. «Каким регионам нужно больше маркетинговой поддержки, чтобы выполнить план продаж?», «Как скажутся дополнительные инвестиции в регион на общей рентабельности препарата?» - теперь на все эти и многие другие вопросы я получаю ответы в рамках одного приложения QlikView за несколько минут. На сегодняшний день единственная сложность проекта состоит в том, что пользователям необходимо освоится с новой технологией и пока не все сотрудники используют систему очень активно. Мы проводим тренинги по приложениям QlikView для всех категорий пользователей, чтобы ускорить процесс интеграции аналитики QlikView в рабочий процесс, и результаты уже радуют – QlikView для некоторых сотрудников уже становится инструментом, поддерживающим работу на ежедневной основе. TAdviser: Существуют ли планы по дальнейшему развитию системы на платформе QlikView? Будете ли Вы использовать решение на мобильных устройствах? Павел Карасев: В ближайшее время мы планируем охватить практически всю компанию аналитикой QlikView, привлекая всех медицинских представителей (практически половина сотрудников компании). Первым шагом в этом направлении станет регулярная рассылка единых отчётов при помощи надстройки для QlikView, решения NPrinting , по которому мы также сотрудничаем с Консультационной Группой АТК. Юрий Васильев: Также в течение месяца мы планируем реализовать в QlikView аналитику данных ритейл-аудита IMS, совместно с данными наших продаж, для отслеживания доли рынка препаратов в различных регионах. Кроме того, мы разрабатываем отчет по KPI для медицинских представителей, который они также будут регулярно получать через рассылки NPrinting, исследовать свои показатели, а также зависимость их бонусов от выполнения плана посещений и звонков. 165 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Интервью с экспертами Ольга Горчинская: На рынке BI заметна тенденция повышения требований к аппаратному обеспечению За последние годы рынок бизнес-аналитики в России эволюционировал от внедрения OLAP-систем до использования инструментов предикативного анализа, вычислений в оперативной памяти и технологий big data. О самых «горячих» трендах рынка BI применительно к российской реальности вместе с TAdviser рассуждает Ольга Горчинская, директор по исследовательским проектам «ФОРС», один из наиболее известных специалистов в области анализа данных в России. TAdviser: Ольга, как по-вашему эволюционно менялся спрос на BI-решения за последние годы? Каков главный тренд сегодняшнего дня? Ольга Горчинская: Общая тенденция спроса на BI– решения почти не изменилась -- востребованность этих решений продолжает расти, идет эволюционное развитие данного направления и дальнейшее становление рынка. Основные представленные на российском рынке BI- платформы, имеют развитый и довольно близкий функционал, так что идет волна внедрений и освоения предлагаемых вендорами инструментов. При этом, есть существенный прогресс в том, как представляют себе потенциальные заказчики современную систему бизнес-анализа. Сейчас уже мало кто ограничивается внедрением регламентной статической отчетности, и интерактивная аналитика и информационные дэшборды перешли из разряда инновационных технологий в разряд стандартных инструментов анализа. В последние годы повышается интерес и к так называемой предиктивной аналитике, связанной с применением математических и статистических методов и инструментов для более глубокого анализа данных. Один их последних технологических трендов - это использование для анализа данных вычислений в оперативной памяти или in-memory analytics. Эта технология особенно полезна тем компаниям, где уже существуют системы бизнес-анализа, в хранилищах накоплен значительный объем данных, и для их обработки требуются более производительные решения. По существу, перемещение вычислений в оперативную память и является борьбой 166 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 за производительность. Поставщики предлагают различные решения в этой области, со стороны потенциальных заказчиков есть интерес, хотя массовый спрос пока еще только в будущем. TAdviser: Изменились ли требования к функциональности и производительности современных BI-систем? Ольга Горчинская: Если рассматривать рынок BI-систем в России с момента его становления и до сегодняшнего дня, а это более десяти лет, то за это время они очень изменились. Ранее львиная доля внедрений приходилась на создание систем регламентной отчетности, оформленной по определенным шаблонам и соответствующей принятым в компании стандартам или требованиям внешних организаций. Сейчас же компании все шире используют возможности интерактивного анализа. Это означает, что содержание стало превалировать на формой: важно не столько сдать отчет в срок, сколько действительно разобраться в текущей ситуации, увидеть проблемы, понять причины их появления и найти эффективные решения. TAdviser: Считаете ли вы справедливым утверждение, что возможности аналитических систем в нашей стране всё ещё осознаны в неполной мере? Что могло бы послужить точкой роста? Ольга Горчинская: Это абсолютно верное утверждение, и так считаю не только я, а большинство специалистов, имеющих отношение к бизнес-анализу. Более того, ситуация складывается таким образом, что предложения вендоров в части каких-то инновационных инструментов и решений зачастую опережают готовность самих заказчиков эти технологии внедрять и использовать. К сожалению, отсутствие навыков работы с инструментами бизнесанализа и понимания их пользы и утилитарного назначения может привести к тому, что даже после внедрения системы ее функциональность может использоваться не более чем на 10% от ее потенциальных возможностей, и работать с ней будут далеко не все, кому это было бы полезно. И это действительно большая проблема: технологии уже существуют, но для их продвижения необходимо подключать методологию, обучение. Тем не менее, есть и позитивные примеры. На моей практике были внедрения BI, где пользователи не только проявляли большую активность и заинтересованность, но и были прекрасно подготовлены, хорошо понимали задачи, методы анализа и главное - были готовы использовать современные инструменты. К счастью, таких примеров становится все больше. Полагаю, что в ближайшие два-три года мы увидим большой прогресс в этой области. TAdviser: Одну из проблем при внедрении BI-систем вы уже упомянули, а с чем могут быть связаны другие трудности при реализации подобных проектов, и каковы пути их преодоления? Ольга Горчинская: Честно говоря, если проект реализует опытная компания, то технологических трудностей довольно мало. Если умозрительно разделить BI-проект на два больших этапа – подготовку данных и непосредственное внедрение аналитических инструментов, то значительная их часть приходится именно на первый этап. Хорошо подготовленные данные - это фундамент, который лежит в основе функционирования BIсистемы, причем совершенно не видимый для конечных пользователей, но оттого не менее важный. В реальности данные в организациях почти всегда бывают несогласованными, противоречивыми, недостоверными, неполными и повысить их качество – большая проблема. 167 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 TAdviser: Создают ли современные BI-решения новые требования к ИТинфраструктуре? Каким должен быть подход к её модернизации? Ольга Горчинская: Современные BI-решения накладывают определенные требования к уровню инфраструктуры, которые определяются, в первую очередь, особенностями базовой платформы реализации. В целом сегодня заметна тенденция повышения требований к аппаратному обеспечению. В линейке продуктов Oracle этой проблеме найдено эффективное решение: за последние два года вендор выпустил целый класс новых программноаппаратных комплексов, специально предназначенных для анализа данных, где оборудование уже сконфигурировано и настроено оптимальным образом для работающего на нем программного обеспечения. К таким решениям относятся упомянутые выше Oracle Exalytics In-Memory Machine, Oracle Exadata Database Machine, Big Data Appliance. TAdviser: В последнее время много говорят об аналитике Больших Данных. Как, по-вашему, будет развиваться в связи с этим классический BI? Или же два этих направления развиваются параллельно? Ольга Горчинская: Эти технологии развиваются параллельно, потому что решают совершенно разные задачи. В классическом BI методики работы с данными давно утвердились, и в основном они направлены на такие задачи, как анализ эффективности деятельности организации в самых различных направлениях, оценка ключевых показателей, план-факт анализ. В аналитике больших данных все совершенно по-другому: это такой прорыв в новый информационный космос неструктурированных данных (видео, изображения, данные социальных сетей), с которыми мы раньше не работали. Здесь не только конкретные задачи бизнеса диктуют необходимость проведения того или иного анализа, а сами данные заставляют искать новые идеи их использования для важных бизнес-задач. Технологии анализа здесь тоже другие -- в большей степени они не вычислительные, как в бизнесанализе, а поисковые, поддерживающие интуитивное исследование данных, а не работу с четко определенными показателями. Все это привело к формированию отдельного аналитического направления– data discovery. Несмотря на разнообразие возможностей использования Больших данных, в этой области уже начали формироваться свои типовые задачи: например, в телекоме и банках анализ данных социальных сетей, блогов, интернетресурсов используется для прогнозирования и управления оттоком клиентов. В банках и финансовых организациях анализ разнообразных внешних информационных источников, выявление шаблонов поведения клиентов позволяет предотвращать мошенничество и управлять кредитными рисками. Типовая задача для банков, телекома и ритейла, -таргетирование предложений на основе анализа поведения клиентов и его предпочтений. TAdviser: Вы упомянули рост интереса к in-memory analytics, не могли бы вы рассказать об этом подробнее? Есть ли у ФОРСа проекты, где уже задействованы технологии вычислений в оперативной памяти? Ольга Горчинская: Да, мы видим рост интереса заказчиков к вычислениям в оперативной памяти, хотя пока он на начальной стадии. Стратегический вендор, с которым работает ФОРС - корпорация Oracle, предлагает одно из самых передовых решений в области inmemory analytics -- программно-аппаратный комплекс Oracle Exalytics, обеспечивающий сверхвысокий уровень производительности вычислений. 168 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Несмотря на то, что производительность прикладных аналитических систем зависит от их возможностей и особенностей, в целом ее рост на базе Exalytics составляет десятки раз. В Exalytics поддерживаются различные сценарии in-memory-analytics. – от простого размещения в оперативную память всех данных до сложных технологий, которые позволяют на основе статистики реальной работы пользователей определять, какие данные наиболее востребованы, и именно их помещать в оперативную память - таким образом, интеллектуальная технология экономит вычислительные ресурсы. Эти возможности особенно важны для интерактивного анализа и нерегламентированных запросов. У нас в компании приобретены две машины Exalytics, мы активно осваиваем эти технологии и предлагаем заказчикам и партнерам услуги по тестированию этого комплекса для существующих и новых приложений. Для ряда компаний мы уже выполнили такое тестирование, причем слово «тестирование» в данном случае предполагает весьма серьезные процедуры: миграцию данных заказчика на нашу платформу, настройку, нагрузочные и вычислительные тесты. Технологии in-memory применительно к бизнес-анализу в будущем определённо будут все больше востребованы. Чем больше будет компаний, где BI-системы пронизывают всю структуру, а не отдельные департаменты, как это чаще всего сейчас бывает, тем выше будут требования к производительности таких систем. TAdviser: Расскажите, пожалуйста, поподробнее об услугах, которые предлагает ФОРС в области аналитики сегодня. Ольга Горчинская: ФОРС является одним из «пионеров» бизнес-аналитики в России, первые проекты наша команда реализовала еще 15-17 лет назад, например, именно ФОРС был выполнен первый в России проект с использованием OLAP-технологий. В рамках ФОРС существует три подразделения, занимающихся непосредственно BI. Первое из них, и самое большое по численности, ведет проектную деятельность по разработке и внедрению аналитических систем на платформе Oracle Business Intelligence. Второе подразделение развивает направление EPM – планирование и бюджетирование на платформе Oracle Hyperion. Третье подразделение занимается освоением и внедрением новых технологий, реализует исследовательские и демонстрационные проекты для реальных заказчиков, и для нас это тоже очень важно. Что касается отраслевого разреза, то наибольшее число внедрений приходится на госсектор и банки. В последнее время мы стали активно сотрудничать с телекоммуникационными, транспортными компаниями и ритейлерами. Перечень отраслей для проектов по аналитическим системам не слишком широк, поскольку BI-системы очень трудно внедрять без индустриальной экспертизы, и здесь мы предпочитаем двигаться вглубь. TAdviser: Различаются ли требования госструктур и заказчиков коммерческого сектора? Ольга Горчинская: Безусловно, такие различия есть. В госсекторе другие задачи по части BI, больше различных ограничений по безопасности, больше времени тратится на продвижение проекта, в целом все происходит медленнее. Кроме того, нужен некий человекдрайвер внутри организации, без которого вообще невозможно ничего сделать. В коммерческих структурах, как правило, задачи в области бизнес-анализа более стандартизованы – это во многом связано со стандартизацией бизнес процессов, внедрением ERP и CRM систем. В этом секторе накоплен огромный опыт использования аналитических систем, сформировались общие требования, постановки, решения. Поэтому вполне логично сейчас перейти от разработки к внедрению преднастроенных аналитических 169 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 приложений, таких как финансовая аналитика, аналитика маркетинговой деятельности, анализ поставок и т.п. Вендоры предлагают подобные решения, у Oracle имеется одна из наиболее полных линеек таких приложений. Но вот какую интересную тенденцию можно отметить. Несмотря на то, что готовые аналитические приложения имеют очевидные преимущества – в них используются лучшие мировые практики бизнес-анализа в той или иной области, стандартизованные технологии и отработанные методологии, что экономит время и сокращает риски, заказчики всё же предпочитают разработку «с нуля» под свои требования, а не полномасштабное внедрение готовых решений. Конечно, внедрение готового приложения - достаточно сложный и трудоемкий процесс, но в стратегическом плане оно дает гораздо более ощутимый эффект. Примеров организаций, где реализован именно такой подход, немного, но они есть. Из позитивных примеров можно назвать компанию «Вимм Билль Данн», где для ERP-системы были внедрены готовые аналитические приложения. TAdviser: Какие другие значимые проекты реализовал «ФОРС» за последнее время? Ольга Горчинская: Можно упомянуть крупный проект для Федеральной миграционной службы России, который запомнился очень энергичной и активной позицией внутренней команды внедрения. В рамках этого проекта, в том числе, были задействованы инструменты предиктивной аналитики. Значимый проект идет в Федеральной службе РФ по контролю за оборотом наркотиков, где долгое время проводилась экспериментальная работа, а теперь появилась необходимость ее дальнейшего развития. Среди других примеров в области госсектора -- хранилище данных для Федеральной службы РФ по финансовому мониторингу, бизнес-анализ в Департаменте жилищно-коммунального хозяйства г. Москвы, очень интересный и технологически сложный проект по созданию хранилища данных и системы бизнес-анализа в Агентстве по ипотечному жилищному кредитованию (АИЖК). Из коммерческих структур можно выделить недавно завершенный проект в Росевробанке, где возможности аналитической системы используются максимально, пользователи очень хорошо подготовлены и не только используют внедренные возможности, но и развивают систему. Из других крупных проектов – разработка хранилищ данных и системы бизнесанализа в компаниях «КапиталЪ-Страхование», «Армадилло – Бизнес посылка», OАO «Медицина». 170 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Андрей Розанов: «Потребность в BI сегодня ощущают все отрасли» «Модные» BI-тренды вроде in-memory вычислений или размещения данных в «облаке» еще не нашли широкого применения на российском рынке, но компетенции и запросы заказчиков постоянно растут. За счет работы с широким кругом вендором в области бизнес-анализа РДТЕХ есть, что предложить, и крупному, и СМБсегменту бизнеса. О самом важном применительно к современным BI-проектам TAdviser рассказал Андрей Розанов, руководитель направления BI компании РДТЕХ. TAdviser: Андрей, как Вам кажется, изменился ли спрос на BI-системы в России за последние годы? Как это отразилось на BI-практике РДТЕХ? Андрей Розанов: BI-системы на данный момент очень востребованы, в последние годы наблюдается тенденция к стабильному росту спроса, причем, если раньше основными потребителями BI-систем были в первую очередь коммерческие банки, то теперь четкое понимание необходимости бизнес-аналитики приходит и в другие отрасли, такие как, например, розница. Стабильно растет спрос на аналитику у представителей среднего бизнеса. Наряду с ростом спроса растет и конкуренция: компания, разрабатывающая и внедряющая аналитические системы, должна иметь не только серьезный опыт и технологические компетенции, но также и глубокие познания в широком спектре бизнес-областей, понимание их специфики и нюансов. Также немаловажным является набор готовых типовых решений, снижающих время и стоимость внедрений. Именно по этому пути РДТЕХ и движется последние годы: мы расширяем свои компетенции по предметным областям, объединяем наш проектный опыт в типовые модели, не забывая о повышении уровня технических специалистов. TAdviser: Какие масштабные проекты были реализованы РДТЕХ в области бизнес-аналитики за последние два года? Андрей Розанов: За последние два года у нас было несколько крупных интересных проектов. Отдельно хочется отметить проект в Финансовой Группе Лайф, по сути, беспрецедентный для банковской отрасли России и СНГ, поскольку впервые было построено единое хранилище данных, охватывающее деятельность сразу семи банков. В результате масштабного проекта по внедрению корпоративного хранилища была создана система 171 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 управленческой отчётности, содержащая оперативную и достоверную информацию по всем банкам Группы. Также заслуживают внимания проекты в ведущих коммерческих банках, таких как Проминвестбанк (Украина), ВТБ, в рамках которых была проделана гигантская работа по внедрению корпоративных хранилищ данных, построение на их основе модулей управленческой и финансовой отчетности. Следует обратить внимание на проект в ЭРТелеком, ведущем операторе телекоммуникационных услуг в регионах России. Работа с данным заказчиком не была столь масштабной, как в озвученных выше проектах, в основном мы выполняли консалтинговые услуги и оказывали помощь в проектировании витрин данных для BI-системы. Однако этот проект позволил нам на практике применить наши компетенции в сфере телекоммуникаций, понимание нюансов и основных аналитических потребностей данной бизнес-области. TAdviser: Кому все-таки нужна сегодня система бизнес-аналитики? С крупным бизнесом все более-менее понятно, но нужна ли аналитика относительно небольшим компаниям. Что вы им можете предложить? Андрей Розанов: Системы бизнес-аналитики сейчас нужны практически всем серьезным компаниям, готовым и заинтересованным в развитии, усилении своих позиций относительно конкурентов, ведь зачастую вовремя принятое правильное управленческое решение может сыграть ключевую роль в повышении эффективности компании. Анализ актуальной достоверной информации помогает в принятии таких решений, и это не зависит от масштабов бизнеса. Тут уже стоит говорить о выборе подходящего аналитического инструмента. Насчет крупного бизнеса вы правы, тут все понятно, в случае же с СМБ ситуация сложнее, не все компании среднего уровня могут позволить себе вкладывать серьезные деньги в мощные тяжелые решения, не всех устраивает длительный и сложный процесс внедрения. Такие заказчики могут быть заинтересованы в полукоробочных решениях, которых на данный момент на рынке немало, или же воспользоваться облегченными версиями аналитических платформ от мировых лидеров. Сейчас практически все системы BI, которые когда-то были прерогативой крупных предприятий, имеют «младших братьев», представляющих собой полноценные инструменты, предназначенные для небольших организаций. Внедрить подобную систему достаточно просто, а ее стоимость приемлема для любого бюджета. В любом случае, при работе с заказчиком, какого бы уровня не был его бизнес, мы стремимся понять его индивидуальные потребности и возможности и в зависимости от этого предложить подходящие для решения его задач инструменты. TAdviser: Вы работаете сразу с несколькими вендорами BI – Oracle, QlikTech, SAP. В чем главная разница между предлагаемыми ими продуктами и как выбрать наиболее подходящий в конкретном случае? Андрей Розанов: Что касается функциональных возможностей и особенностей BIплатформ от ведущих мировых вендоров, таких как Oracle и SAP, это вопрос очень сложный, трудно сравнивать объективно и непредвзято. Чем больше работаешь с конкретным продуктом, тем лучше чувствуешь нюансы модели использования и удобства тех или иных компонент. Начинаешь видеть реальные плюсы по сравнению с конкурентами, но так же и реальные минусы. Если все это обобщить, то можно сказать, что инструменты от признанных лидеров, схожие по масштабу и мощности, схожи и функционально - с небольшими расхождениями по наличию, но чаще по удобству использования тех или иных возможностей. Зачастую вопрос выбора проходит на уровне маркетинга, громкого имени вендора или, если говорить об организациях с развитой ИТ-инфраструктурой, целиком зависит от единой платформы, уже когда-то выбранной организацией. 172 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 Что касается решений менее популярных, они могут быть не менее интересны в функциональном плане, а в отношении простоты внедрения, "конкурировать" с лидерами. Но они зачастую оказываются менее востребованными, так как проигрывают как раз именно в маркетинговом плане. Нередко заказчик, имеющий возможность провести длительное и дорогостоящее внедрение продукта от мирового лидера BI-платформ, предпочитает не экспериментировать и выбирает проверенное стабильное решение. Однако данная ситуация постепенно меняется. На российском рынке появляются игроки, предлагающие интересные, прогрессивные решения. С одним из таких вендоров - QlikTech мы и работаем. Ключевая особенность платформы QlikView - это хранение витрин данных непосредственно в оперативной памяти, что существенно сказывается на производительности аналитической системы в целом. Подобные системы вызывают все больший интерес со стороны заказчика, особенно уровня СМБ, в таких сегментах бизнеса, где требуется обработка больших объемов данных и быстрое реагирование в режиме жесткой конкуренции - ритейл, телеком, промышленность. Не всегда интерес ограничивается внедрением - обычно по причинам, описанным выше, но четкая тенденция налицо. TAdviser: С технической точки зрения, какие инструменты BI сегодня наиболее востребованы в России? Как часто в проектах возникает потребность внедрения мобильного функционала платформы? Андрей Розанов: Основными требованиями к BI-системе являются в первую очередь полнота и актуальность данных, высокая производительность, гибкие возможности для анализа данных, простота разработки отчетов, в том числе, именно бизнес-пользователями, персонализация рабочей среды. "Модные" на данный момент мировые тенденции - применение мобильных приложений, перенос систем в «облака», аналитика-в-памяти еще не так заметны в России. Заказчики, будучи хорошо осведомленными о функциональных возможностях современных BI-систем, конечно, интересуются и зачастую в той или иной мере пытаются использовать данные нововведения, но с прицелом на будущее. В рамках же полномасштабных проектов по внедрению BI-системы с нуля такие требования редко бывают ключевыми. Что касается конкретно мобильного функционала – это, безусловно, очень удобная, продвинутая система доставки информации. Потребности бизнеса в этом направлении будут расти и постепенно также станут базовым требованием. TAdviser: В аналитике данные не берутся из ниоткуда. Обычно в ходе проектов вам приходится пользоваться уже имеющимися у заказчика хранилищами данных или создавать их «с нуля»? Андрей Розанов: У заказчика, как правило, имеется каскад разрозненных производственных систем, которые не являются хранилищем данных по своей сути. В ходе проекта мы обычно реализуем наполнение и синхронизацию хранилища данных, используя промышленные модели Data Warehousing корпорации Oracle: FSDW, OCDM и др. В процессе интеграции происходит адаптация промышленной модели под бизнес-требования клиента. Наш опыт показывает значительное снижение трудозатрат при внедрении промышленных моделей по сравнению с разработкой собственной - «с нуля». Построение аналитической системы является финальной стадией проекта. 173 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 TAdviser: Сегодня in-memory-вычисления позиционируются как новое слово на ИТ рынке, как наиболее передовой и производительный способ обработки данных. Какие преимущества на практике это дает? Были ли у вас проекты в этой области? Андрей Розанов: Говоря об аналитике-в-памяти стоит упомянуть о двух продуктах: inmemory BI-система QlikView и in-memory СУБД Oracle TimesTen. На первом продукте я останавливался чуть ранее, сейчас давайте более подробно о втором. Oracle TimesTen используется для приложений, нуждающихся в высокой производительности обработки данных. Это могут быть биржевые торги, часть системы биллинга мобильных операторов, система обработки транзакций с терминалов оплаты услуг и тому подобное. Также Oracle TimesTen может применяться как сверхбыстрый кэш для базы данных Oracle, позволяющий ускорить работу с оперативной частью данных. В контексте нашего разговора о BI-системах данная возможность особенно интересна. Рассмотрим её на примере программно-аппаратного комплекса Oracle Exalytics, который использует TimesTen для обеспечения скоростной обработки запросов пользователей, размещая данные аналитики в оперативной памяти и выполняя SQL-запросы к базе данных TimesTen. За счёт размещения данных в памяти - с одной стороны, и поддержки Oracle TimesTen языка запросов SQL- с другой, обеспечивается скоростная обработка запросов пользователей без изменения интерфейса взаимодействия инструмента бизнес-аналитики с данными. Безусловно, есть ряд нюансов: Oracle TimesTen имеет ограничение на размер базы данных, для микросекундного отклика Oracle TimesTen на запросы пользователей необходима тщательная настройка программного продукта. Производительность Oracle TimesTen по сравнению с БД Oracle оказывается быстрее на порядок, но за это приходится "расплачиваться" тщательной интеграцией приложения с Oracle TimesTen, хорошей проработкой архитектуры будущего приложения. Требования к качеству программных продуктов, разработанных на базе Oracle TimesTen существенно выше - любой недостаток архитектуры приложения может свести на нет все преимущества. Ну и, конечно, нельзя забывать о стоимости подобных решений. Что касается практики РДТЕХ, то мы занимаемся технической поддержкой Oracle TimesTen, а также проводим обучение работе с этим программным продуктом. TAdviser: Каковы планы РДТЕХ по развитию BI-практики на ближайшее будущее? Андрей Розанов: Я уже отмечал некоторые тенденции последних лет: рост спроса на аналитику у представителей СМБ, рост требований заказчика к отраслевой экспертизе компании-разработчика аналитической системы, все большая заинтересованность компаний новых областях применения BI-систем. Принимая это во внимание, РДТЕХ, во-первых, стремится привлекать специалистов высокого уровня, бизнес-аналитиков, имеющих серьезный опыт работы в ключевых для нас областях. Во-вторых, проектный опыт объединяется и анализируется, используется при выработке универсальных моделей данных, развитие и внедрение которых впоследствии может привести снижениям временных и ресурсных затрат при реализации проектов, а следовательно - и к снижению стоимости внедрений. Это даст возможность серьезно расширить нашу клиентскую базу, заниматься не только длительными, затратными внедрениями и дальнейшей поддержкой крупных заказчиков, но и предложить уровню СМБ 174 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru BI в России 2013 pdf-версия открытого обзора июнь 2013 недорогие универсальные функциональные решения на основе мощных аналитических платформ. 175 Москва 117218 а/я 40 TAdvser +7 (901) 526-33-31, [email protected] www.tadviser.ru
