Технологии построения хранилищ данных: Oracle Data Integrator Родион Константинов <Insert Picture Here>

<Insert Picture Here>
Технологии построения хранилищ данных:
Oracle Data Integrator
Родион Константинов
План презентации
<Insert Picture Here>
•
•
•
•
4 Ключевых преимущества
Расширенные возможности
6 шагов к внедрению
Сценарии использования
Почему интеграция данных?
Информация там и в том виде в каком необходимо
НУЖНО…
Business Intelligence
Corporate Performance
Management
Business Process
Management
Business Activity
Monitoring
Интеграция данных
Migration
Data
Warehousing
Master Data
Management
Data
Synchronization
-----
Federation
SOA
(Messaging)
-----
ИМЕЕМ… Данные в несогласованных источниках
---------------
---
Legacy
ERP
---------------
CRM
Best-of-breed Applications
---------------
Oracle Data Integrator
•
Трансформация и перемещение данных из
множественных источников в гетерогенной среде
Преимущества
1.
2.
3.
4.
Скорость:
Гибкость:
Продуктивность:
Расширяемость:
Отличительные возможности
Архитектура “E-LT”
Активная интеграция
Декларативный дизайн
Модули знаний
E-LT архитектура
Высокая производительность
«Обычная» ETL Архитектура
Специализированный ETL
сервер
Extract
Transform
Load
• Черный ящик
• Слабая производительность
• Высокая цена
Преобразования внутри СУБД
• Использование современных
возможностей
• Эффективность
• Высокая производительность
Преимущества
 Оптимальная производительность и
масштабируемость
 Легкость управления и низкая цена
Архитектура нового поколения
“E-LT”
Transform
Transform
Extract
Load
Архитектура: Концепция
Service Interfaces and Developer APIs
Runtime
Design-Time
User
Interfaces
Data Flow
Generator
Designer
Operator
•
Knowledge Module
Interpreter
Data Flow
Generator
Runtime
Session
Interpreter
• Работает на любых платформах
• Тонкий клиент для просмотра
метаданных
Agent
Data Flow
Conductor
•
Data Flow
Metadata Management
Master
Repository
•
Work
Repositories
Runtime
Repositories
Java runtime environment
• Работает на любых платформах
• Управляет выполнением потока
задач
Thin
Client
Knowledge Modules
Java design-time environment
Metadata repository
• Ставится на любую БД
• Модульность и расширяемость
Архитектура: Компоненты
Development
ODI Design-Time Environment
Development Servers and
Applications
User Interfaces
Topology/Security
Code
Administrators
Design-time
Metadata/Rules Repositories
Execution Log
Execution
Agent
Data Flow
Conductor
Return Codes
CRM
Data
Warehouse
Legacy
ER
P
Designers
ESB
Files /
XML
Scenarios
and Projects
Releases
Production
ODI Runtime Environment
Production Servers and
Applications
User Interfaces
Topology/Security
Administrators
Code
Execution Log
Runtime
Repository
Operators
Execution Log
Execution
Agent
Data Flow
Conductor
Return Codes
CRM
Data
Warehouse
Legacy
ER
P
Thin Client
Metadata Lineage
Data Stewarts
ESB
Metadata
Navigator
Files /
XML
Активная интеграция
Cобытийная и сервис-ориентированная интеграция
• Переход от пакетной загрузки к
хранилищам реального времени
• Единообразие инструмента
• Интеграция на лету
Oracle Data Integrator
Event Conductor
Service Conductor
Event-oriented
Integration
Service-oriented
Integration
Metadata
Declarative Design
Data-oriented Integration
Преимущества
Data Conductor
 Позволяет построить хранилища реального времени и хабы
 Можно использовать в SOA
Модули знаний (Knowledge Modules)
Модульность, гибкость, расширяемость
Reverse
Engineer Metadata
Journalize
Read from CDC
Source
Load
From Sources to
Staging
Check
Constraints before
Load
Integrate
Transform and Move
to Targets
Service
Expose Data and
Transformation
Services
Reverse
W
W S
S
W
S
Staging Tables
Load
Integrate
CDC
Target Tables
Check
Journalize
Sources
Services
Error Tables
Готовые модули знаний
SAP/R3
Log Miner
Siebel
SQL Server
Triggers
DB2 Journals
Oracle
DBLink
DB2 Exp/Imp
JMS Queues
Oracle
SQL*Loader
Check MS
Excel
Check
Sybase
Преимущества
 Используется опыт лучших наработок
 Легко администрировать
TPump/
Multiload
Type II SCD
Oracle Merge
Siebel EIM
Schema
Oracle Web
Services
DB2 Web
Services
Готовые Knowledge Modules
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Generic SQL DB
Oracle DB 9i
Oracle DB 10g
Oracle DB 10g XE
IBM DB2/400
IBM DB2/UDB
IBM Informix SE
IBM LDAP Server
MS SQL Server 2000
MS SQL Server 2005
MS SQL Server 2005 SE
MS Office Access 2000
MS Office Excel 2000
MS Active Directory
Sybase ASA 8.x & 9.x
Sybase IQ 12.x
Sonic MQ v7.0
Teradata V2R5.x
Teradata V2R6.x
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Netezza Performance Server 2.2.1
Hyperion Essbase
PostgresSQL 8.1
MySQL 4.0
MySQL 5.0
Oracle BI Suite 10g
Oracle BAM 10g
Oracle Internet Directory 9i
OpenLDAP 2.3
Out-of-Box
Siebel CRM 7.8
JD Edwards
Knowledge
PeopleSoft
Modules
SAP R/3
Oracle EBusiness Suite
Oracle AQ 10g
Oracle SOA Suite
Oracle ESB 10g
SalesForce.com App Exchange
Any JMS Standard Implementation
Declarative Design
Продуктивность разработчиков
Традиционный подход
Традиционный ETL дизайн
• Разработчик должен определить каждый
шаг сложного ETL процесса
• Требуются специальные ETL навыки
• Существенные усилия по разработке и
поддержке
Declarative Set-based Design
• Уменьшается число шагов
• Автоматическая генерация процедур
Преимущества
 Существенное ускорение обучения
 Уменьшение сроков внедрения
 Облегчение понимания для не-ИТ
персонала
ODI Declarative Design
1
Define
What
You Want
2
Automatically
Generate
Dataflow
Define How: Built-in Templates
Oracle Data Integrator
Расширенные возможности
Расширенные возможности
• Master Data Management enabled
• Создание унифицированных форматов
• Автоматическое создание канонического формата и
трансформаций
• Встроенная проверка целостности данных
• Real-time enabled
• Захват изменений
• Message Oriented Integration (JMS)
• SOA enabled
• Службы доступа к данным
• Службы трансформации
• Extensibility
• Knowledge Modules Framework
• Языки сценариев
• Open Tools
MDM: Canonical Format Design
•
Разработка и наполнение
Канонического формата
1. Использование имеющихся
объектов для построения
MDM приложений (entities,
fields, relationships)
2. Создание и поддержка
структур эталонных данных
Master Data
Enterprise Service Bus
CRM
SCM
Legacy
ERP
MDM: Встроенная проверка
целостности данных
1.
2.
3.
Message
Duplicated Record
Duplicated Record
Invalid City Reference
Id
001
022
230
Name
John Doe
John Doe
Albert Fresh
City
New York
Boston
Maris
Определение ограничений
(constraints) на уровне таблиц
Дизайн сценариев и проверка
целостности
Просмотр, очистка или повторная
обработка отброшенных записей
Real-time enabled: Changed Data Capture
•
Публикация и подписка CDC
Framework
•
•
•
CDC
Database logs
Triggers
Third-tier solutions
•
Поддержка целостности
транзакций затрагивающих
несколько таблиц
1.
Создайте или сгенерируйте
сценарий
2.
Выбирите Journalized Data Only
3.
Запустите Журналирование
Real-time enabled: Интеграция основанная
на сообщениях
•
Subscribe
CDC
JMS Provider
(MOM, ESB)
•
Publish
•
Подключитесь к провайдеру
публикации сообщений и
подписки на них (JMS)
Проверьте, что целостность
сообщений не нарушается
Сложные трансформации
1. Разрабатывайте сложные
сценарии используя очереди,
БД и приложения
2. Используйте JMS Queues как
источники и приемники
SOA Enabled: Data Access Services
•
SOA Infrastructure
Business
Processes
Services
1.
2.
3.
Data Access
Transform
ESB
Business
Создавайте и публикуйте службы
доступа к данным
Создайте службу доступа к данным
Протестируйте службу
Задействуйте службу доступа к данным
в вашей SOA инфраструктуре
SOA Enabled: Data Flow Services
•
SOA Infrastructure
Bulk
Transf
.
Business
Processes
Services
1.
2.
Data Access
Transform
ESB
Business
Представьте сценарии как Web
Services
Манипулируйте сценариями
Публикуйте сценарии как webсервисы в вашей SOA
инфраструктуре
Knowledge Modules
KM’s Meta Code
• 120+ KMs out-of-the-box
 Доступ к best practices
 Упрощение администрирования
 Уменьшение стоимости владения
Executed Code
KM
Interpreter
Metadata
• Переопределение и расширение
Pluggable Knowledge Modules Architecture
Reverse
Engineer Metadata
Journalize
Read from CDC
Source
Load
From Sources to
Staging
Check
Constraints before
Load
Integrate
Transform and Move
to Targets
Service
Expose Data and
Transformation
Services
Reverse
W
W S
S
W
S
Staging Tables
Load
CDC
Sources
Journalize
Integrate
Target Tables
Check
Error Tables
Services
Scripting Framework
•
Используйте языки сценариев
•
Применяйте языки встроенные
в базы данных
• SQL, PL/SQL, Transact SQL,
etc.
•
Используйте OS shell скрипты
• Win32 DOS, sh, ksh, csh,
OS400 commands, JCL, etc.
•
Используйте языки
совместимые с Bean Scripting
Framework Java, JavaScript,
Jython (Java Python), Perl, etc.
Open Tool
• Расширяйте ODI
• Добавляйте свои инструменты в
палитру
1. Определите
OdiOpenToolAbstract Java
интерфейс
2. Зарегистрируйте Open Tool в
Designer
3. Используйте Open Tool в среде
разработки
Oracle Data Integrator
6 шагов к внедрению
6 шагов к внедрению
1.
2.
3.
Получите/Создайте метаданные
Разработайте трансформации
Настройте сценарии выполнения
4. Сгенерируйте сценарии
5. Мониторинг выполнения
6. Анализируйте влияние
Development
Production
Development Servers and Applications
Production Servers and Applications
Data
Warehouse
CRM
Data
Warehouse
CRM
Legacy
Legacy
ERP
ERP
ESB
Files / XML
ESB
ODI Design-Time Environment
User Interfaces
Administrators
Designers
Design-time
Design-time
Repositories
Repositories
Files / XML
ODI Runtime Environment
Agent
Data Flow
Conductor
Runtime
Repository
Agent
Data Flow
Conductor
User Interfaces
Operator
Metadata
Navigator
1
Получите/Создайте метаданные
Development Servers
and Applications
Design-Time Environment
ODI Designer
ERP
Data
Warehouse
Design-time
Repositories
CRM
Files / XML
Legacy
ESB
1. Reverse-engineer
•
•
•
Автоматическая
Настраиваемая
40+ технологий
2. Создание метаданных
•
•
Документирование
Правила для целостности
данных
2
Разработайте трансформации
1
Определите Что Вы хотите
3
Автоматически
сгенерируйте
трансформацию
Oracle Data Integrator
“Interface”
Declarative Design
2
Определите Как делать: Выберите
шаблон
Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension
3
Настройте сценарии выполнения
1. Последовательность
трансформаций
2. ODI инструменты
•
•
•
•
•
•
Data Quality Processes
Files/Archives Management
Send/Receive Emails
Web Services Invokation
Event Detection
Создайте собственные
инструменты
3. Используйте
• Цыклы
• Условия
• Обработку ошибок
4
Сгенерируйте сценарии
1. Скомпилируйте сценарии для
выполнения
2. Используйте управление версиями
• Advanced Version Management
3. Перенесите в Production
Design-time
Repositories
Scenarios
and Projects
Releases
Runtime
Repository
5
Мониторинг выполнения
•
•
•
•
Просмотр выполнения сессий в
ральном времени
Просмотр кода
Детальная статистика
Перезапуск сбойных сессий
6
Анализируйте влияния/зависимости
?
•
Поддержка большого числа сценариев
в сложных проектах
•
Основанный на Web инструмент
просмотра
1. Отследите ваши потоки данных
2. Следуйте по пути данных
3. Drill-down к трансформациям
Сценарии использования
E-LT для хранилищ данных
Загрузка
Преобразование
Захват изменений
Инкрементальное
обновление
Агрегация
Экспорт
-------------
Data Warehouse
Cube
Cube
Метаданные
Аналитика
Оперативные системы
Cube
 Гетерогенные источники и
цели
 Инкрементальная загрузка
 Медленно меняющиеся
размерности
 Целостность данных
 Захват изменений (CDC)
 Анализ влияния
Master Data Management
(Управление основными данными)
Захват
изменений
Загрузка
основных
данных
Разработка
Канонического
формата
Очистка и
согласование
 Используется как
инфраструктура для создания
собственного хаба
Публикация
эталонных
данных
 Описания потоков данных
 Захват изменений (CDC)
CDC
CDC
-------------
 Очистка и согласование данных
Эталонные
данные
CDC
-------------
Метаданные
 Публикация эталонных данных
 Расширение метаданных
Миграция
 Массовая перегрузка
данных в новое приложение
Начальная
загрузка
CDC для
синхронизации
Преобразование
в новый формат
Двусторонний
захват
изменений
-------------
CDC
Метаданные
Новое приложение
Старое приложение
CDC
 Преобразование форматов
 Синхронизация старого и
нового приложения в
период совместного
использования
 Двусторонний захват
изменений (CDC)
Использование в SOA
Развертывание и
использование
сервисов
Создание сервисов
Публикация сервисов
Оперативные системы
Services
Business
Processes
 Вызов внешних сервисов
для интеграции
Data Access
-------------
 Создание сервисов
Transformation
Others
Метаданные
 Публикация сервисов
Oracle Data Integrator: Roadmap
• Focus Areas for Next Major Release
• Deep Integration with Fusion Middleware
• Runtime, Design time, Security, Administration, Events
• Functional Integration with Oracle Warehouse Builder
• Runtime Integration, Metadata Sharing, Knowledge Module Sharing
• Deployment of ODI for Embedded Data Integration
• OracleBI Enterprise Edition, Data Hubs, Application Migrations
• Enhanced Usability and Debuggability
• Wizards, New Views, User-definable Debugging
• Improved Support for Native Oracle Database Features
• Oracle OLAP
Заказчики