Informatica – Эволюция Интеграции Данных

Informatica – Эволюция Интеграции Данных
Делаем из данных ИНФОРМАЦИЮ
Алексей Сидоров
Технический Директор
Informatica Россия и СНГ
1
Informatica
Делаем из данных ИНФОРМАЦИЮ
1. Informatica – Мы Управляем Информацией
2. Развитие Концепции КХД
3. Инструменты для Интеграции Данных
4. Наш опыт в России и Казахстане
2
Informatica – Мы Управляем Информацией
3
Informatica в Цифрах
$900
•
Год основания: 1993
$800
•
Прибыль 2012: $ 812 000 000
$700
•
Средний Рост Прибыли:
17% в год за последние 7 лет
$600
•
Сотрудники: 2,854
$500
•
Партнеры: 450+
$400
•
•
Крупнейшие SI, ISV и
Консалтинговые Компании
Клиенты: более 5000
$300
$200
•
> 70% из списка Global 500
•
Клиенты в 82 Странах
•
Прямое Представительство в 28
Странах
$100
$0
2005 2006 2007 2008 2009 2010 2011 2012
4
Informatica – Безоговорочный Лидер
• Informatica – безоговорочный лидер в области Интеграции Данных и Повышения
Качества Данных по мнению ведущих аналитических агентств (Gartner, Forrester)
5
Развитие Концепции КХД
6
Развитие Интеграции Данных – “Point-to-Point”
Файлы и таблицы
1С
Файлы и таблицы
CRM
Финансовая система
Логистика
Файлы и таблицы
ERP
Файлы и таблицы
Склад
Внешние Данные
• Потребности в интеграции данных удовлетворяются интеграцией приложений
по принципу «каждый с каждым»
• Результат – сложности в поддержке и внесении изменений, низкая
прозрачность процессов
7
Развитие Интеграции Данных – КХД
1С
Финансовая система
Внешние Данные
ETL
Отчетность
CRM
Файлы и таблицы
ETL
Склад
Корпоративное Хранилище
Логистика
ETL
Аналитика
Данных
ERP
• КХД – Появляется возможность консолидировать все данные организации, низкая
нагрузка на источники данных
• Результат – Своевременные отчеты, однако камнем преткновения может
оказаться Качество Входящих Данных
8
Развитие Интеграции Данных – Качество Данных
1С
Финансовая система
ETL
Внешние Данные
Отчетность
CRM
ETL
Файлы и таблицы
DQ
Склад
Корпоративное Хранилище
Аналитика
Логистика
ETL
Данных
ERP
• При повышении Качества Данных повышается качество получаемых отчетов и
аналитических разработок
• Результат – Высококачественные отчеты и аналитика, однако не решается
проблема «Единого Взгляда» на товар, клиента и т.п.
9
Развитие Интеграции Данных – MDM
1С
Финансовая система
ETL
Внешние Данные
MDM
CRM
ETL
Файлы и таблицы
DQ
Отчетность
Склад
Корпоративное Хранилище
Логистика
ETL
ERP
Данных
Аналитика
• «Единый Взгляд» 360 градусов на бизнес-сущности. Появляются большие
возможности для высокоточного прогнозирования, прицельных маркетинговых
компаний
• Компания получает конкурентное преимущество в борьбе за клиента
10
Развитие Интеграции Данных – Данные СоцСетей
Внешние Данные
CRM
1С
Финансовая система
ETL
Файлы и таблицы
Склад
Логистика
ERP
MDM
DQ
Отчетность
Корпоративное Хранилище
Данные
Данных
Соц. Сетей
Аналитика
• Интеграция Данных Социальных Сетей позволяет значительно повысить качество
оценки клиента и анализировать результат маркетинговых компаний
• Объемы обрабатываемой информации растут экспоненциально, что ставит новые
задачи в области Интеграции Данных
11
Гибридная Экосистема
Внешние Данные
CRM
1С
Финансовая система
Файлы и таблицы
Очистка Интеграция
данных
данных
MDM
Склад
Реляционное
Логистика
ERP
Хранилище Данных
Выгрузка в
витрины данных
Выгрузка в
витрины данных
Технические Данные
Отчетность
Аналитика
Данные Соц. Сетей
Кластер Hadoop
12
INFORMATICA
Инструменты для Интеграции Данных
13
Informatica PowerCenter
Инструмент Интеграции Данных
Informatica
PowerCenter
•
Полностью независимое интеграционное решение
•
Работа на любой современной ОС (32- и 64-бит)
•
Поддержка всех основных СУБД, плоских файлов, XML, EAI (TIBCO, MQ
Series, MSMQ), почты, BI и других приложений (SAP, OEBS, JD Edwards и
других) на чтение/запись
•
Гибкость и масштабируемость, легкая переносимость
с одной платформы на другую (операционные системы, базы данных)
•
Извлечение данных из неструктурированных файлов
•
Визуальная среда разработки интеграционных процессов, обеспечение
прозрачности выполняемых преобразований
•
Отсутствие программирования и генерации кода
•
Быстрая разработка и внедрение
14
Informatica DataQuality
Инструмент Очистки Данных
•
Обработка данных, требующих синтаксического разбора:
•
Имена
•
Адреса
•
Телефоны
•
Товарные номенклатуры
•
Паспортные данные
•
Банковские реквизиты и др.
Informatica
Data Quality
•
Стандартизация и проверка данных
•
Мониторинг качества данных
•
Просмотр отчетов о качестве поступающих данных
•
Анализ причин возникновения ошибок на любую глубину в данных
•
Принятие решений об путях устранения проблем в данных
15
Informatica Master Data Management
Инструмент для Управления Мастер-Данными
•
Идентифицирует записи, содержащие потенциальные дубли
•
Определяет какие записи могут быть консолидированы
автоматически, а какие требуют вмешательства со стороны
эксперта по качеству данных (data steward)
•
2 пути поиска дубликатов:
•
Неявный (Fuzzy) – использует множественные алгоритмы
неточной логики.
•
Явный – использует точное значение столбцов.
•
Пользовательский интерфейс рекомендует варианты для
объединения записей
•
Индикаторы достоверности (Trust & Validation)
•
Возможности автоматического объединения для
соответствующих записей
Informatica
Master Data
Management
16
Наш Опыт в России и Казахстане
17
INFORMATICA в России
• Ведущие Банки, Страховые и Телекоммуникационные компании используют
продукты Informatica для целей отчетности, аналитики, маркетинга, привлечения
и удержания клиентов
• С каждым месяцем растет количество наших клиентов в других отраслях
экономики
18
19
20