IBM blue-and-white template

Реклама
IBM Information Management
IBM Dynamic Warehouse
Николай Куликов
[email protected]
March 2007
© 2007 IBM Corporation
IBM Information Management
Ясная, необходимая информация в Любом месте в Любое
время
Information On Demand
− Оптимизация каждой
транзакции
− Call Центры, Сотрудники в
полях
OLAP & Data Mining
− Запасы, Товары,
Движение
Запросы и Отчеты
− Финансы, Продажи
1
Помощь в раскрытии
преступлений предоставление
необходимой
информации в
момент прибытия
офицеров на место
происшествия
Оптимизация
работы
полицейских
Статистика
преступлений
© 2007 IBM Corporation
IBM Information Management
Dynamic Warehousing
A New Approach to Leveraging Information
Information On Demand
Оптимизация реальных
процессов
Dynamic
Warehousing
Требует:
OLAPDynamic
& Data Warehousing
Mining
Понимаем почему
1. Встроенная аналитика которая используется как часть бизнес
произошло и
процесса
рекомендуем
действия на
Традиционные
2.будущее
Возможность включения знаний из неструктурированной
информации
3. Возможность быстрого доступа к агрегированной иХранилища
очищенной
информации
Запросы
и Отчеты в любом контексте
4. Полный набор средств для интеграции информации
Для понимания
Что произошло
2
© 2007 IBM Corporation
IBM Information Management
Больше примеров Dynamic Warehousing в действии
Традиционные
Хранилища
Аналитика и
отчетность
мошенничеству в
страховании
Определение потенциально мошеннических заявок
до согласования и оплаты
Преобразование страхования
Отчетность по
претензиям клиентов
Выявление потенциальных похожих заявок, снижение
ухода клиента, возможность кросс продаж
Преобразование клиентской службы
Анализ и отчетность
по продажам за
прошедший период
Выявление необходимой информации о клиенте для
идентификации возможности дополнительных
продаж
Преобразование эффективности продаж
Статистика и
отчетность по
преступлениям
3
Dynamic warehousing
Выявление похожих инцидентов до прибытия на
место происшествия
Преобразование борьбы с преступниками
© 2007 IBM Corporation
IBM Information Management
Вызовы стоящие перед традиционными ХД
ХД должны сейчас:
 Адресованы к расширяющимся потребностям аналитики по запросу
 Использовать ВСЕ типы информации включая неструктурированную
 Обслуживать увеличивающиеся количество и типы приложений и
пользователей с различными потребностями уровня обслуживания
Увеличивающаяся Смешанная
нагрузка и
Постоянно изменяющиеся требования различных бизнес направлений
требует более Динамичных Возможностей ХД
4
© 2007 IBM Corporation
IBM Information Management
IBM предоставляет больше чем хранилище
Встроенная Аналитика
(встроенная и как
сервис)
Многомерный анализ
Data mining,Визуализация
IBM DB2
Традиционное
Warehouse
ХД
Data Volumes
За границами
традиционных
структурированных
данных
Unstructured
Structured
“As a direct effect of the mixed workload, with continuous
loading and the increase in automated transactions from the
functional analytics in OLTP, the transactional DBMSs have
an
Преимущества
Выделенные
edge that challenges the DW DBMSs (such as Teradata)”
OLTP
DW
DBMS
транзакционного
Высокая компрессия
ХД
основания
Gartner DataСокращение
Warehouse Magic
2006
затратQuadrant,
на
Архитектура Shared-
Оптимизация для быстрого
доступаысокая доступность и
надежность,
Масштабируемость,
безопасность, аудируемость
5
диски, лучшая утилизация
дисков, повышение
производительности
запросов
nothing
Партиционирование
Управление нагрузкой
© 2007 IBM Corporation
IBM Information Management
IBM Dynamic Warehousing
Интегрированное предложение
IBM
Information
Information
integration
Server
™
IBM
Search
OmniFind
and text
Analytics
analytics
Edition
IBM
Enterprise
Rational®
data
Data modeling
Architect
IBM Process
FileNet BPM
WebSphere
management
BPM
Традиционное
IBM
DB2 Warehouse
ХД
IBM
Industry
Industry
Data
perspective
Models
IBM WebSphere
Master data
Customer
Center
management
& Product Center
SOA Infrastructure
IBM Global Services
6
© 2007 IBM Corporation
IBM Information Management
Решение от IBM: IBM Information Server
Предоставление информации которой вы можете доверять
IBM Information Server
Общее Внедрение
Обнаружение,
моделирование,
управление
информацией
Стандартизация,
объединение,
и корректировка
информации
Объединение и
реструктуризация
информации для
нового пользования
Синхронизация,
виртуализация,
перемещение
информации
Общее управление метаданными
7
© 2007 IBM Corporation
IBM Information Management
IBM Information Server - Архитектура
ОБЩИЙ GUI
Интерфейс Интерфейс
Интерфейс Web
Аналитика Разработчика
Администрирования
ОБЩИЕ СЛУЖБЫ
Службы
Метаданных
Службы
установки
Службы
Службы
Журнала &
безопасности
Отчетности
ОБЩАЯ ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА
Понимание
Очистка
Трансформация
Доставка
ОБЩИЕ МЕТАДАННЫЕ
Разработка Оперативные
ОБЩИЕ ИНТЕРФЕЙСЫ ДОСТУПА
Структурированные, Неструктурированные, Приложения, Mainframe
8
© 2007 IBM Corporation
IBM Information Management
Почему важно начинать с Понимания?
 Где необходимая информация?
 Как я могу ее получить если она мне
нужна?
 Что она означает?
 Могу ли я ей доверять?
 Когда я ее получаю в какой форме
она мне нужна?
 Как я могу ее контролировать?
9
© 2007 IBM Corporation
IBM Information Management
Физические метаданные: IBM WebSphere Information Analyzer
 Основанный на данных анализ
приложений, БД и файловых источников
данных
 Безопастная, детальная профилировка
полей, между полями и между
источниками
 Создание метаданных как результатов
профилирования
Subject Matter
Experts
Data
Analysts
IBM WebSphere Information Analyzer
Анализ структур исходных данных
и мониторинг их качества и
соответствия правилам
 Результаты постоянно доставляются
посредством IBM Information Server
Physical View
10
© 2007 IBM Corporation
IBM Information Management
Бизнес метаданные: IBM WebSphere Business Glossary
 Построенная на Web система для
описания, управления & общего
доступа к бизнес метаданным
 Выравнивание действий IT с целями
бизнеса
 Предоставление бизнес контекста к
информационным активам
Database = DB2
Table =
DLYTRANS
data type =
char(11)
11
Business
Users
IBM WebSphere Business Glossary
Create and manage business
vocabulary and relationships, while
linking to physical sources
GL Account
Number
Schema =
NAACCT
Column =
ACCT_NO
Subject Matter
Experts
Technical
Business
The ten digit
account number.
Sometimes
referred to as
the account ID.
This value is of
the form LFIIIIVVVV.
Business View
© 2007 IBM Corporation
IBM Information Management
Очистка данных: IBM WebSphere QualityStage
 Специализированные функции очистки
данных прозрачно интегрированы с
DataStage
 Визуальные инструменты для
определения комплексных отображений и
логики сохранения полей
 Проверка очистки, стандартизации, дедубликации информации
Subject Matter
Experts
Data
Analysts
IBM WebSphere QualityStage™
Standardize and correct source data
fields, and match records together
across sources to create a single view
 Единая версия правды
Visual Match Rule Design
12
© 2007 IBM Corporation
IBM Information Management
Что важно в трансформации и доставке данных?
 Трансформация это ключ для
предоставления информации для
использования ее в новых бизнес
контекстах – это требует что бы эта
информация была основанная на
метаданных
 Разработана для использования экспертами
по информации и управляется посредством
метаданных
 Трансформация и доставка может быть
использована множеством механизмов
Data
Analysts
– Перемещение больших объемов
заданиями(batch)
– Ответ на событие в реальном времени
– SOA
– Федеративные запросы
Data
Architects
DBAs
Subject Matter
Experts
Logic
Reuse
Request
Response
Query
13
© 2007 IBM Corporation
IBM Information Management
Трансформация & Перемещение: IBM WebSphere DataStage
 Визуальная разработка потоков данных с
сотнями встроенных трансформаций
Developers
Architects
 Оптимизированное использование
объектов интеграционных
IBM WebSphere DataStage®
 Возможность параллельной обработки
без необходимости изменять процессы
обработки
Трансформация и агрегация любых
объемов информации
 Возможность работы как с batch так realtime операциями
14
© 2007 IBM Corporation
IBM Information Management
Федеративные данные: IBM WebSphere Federation Server
 Доступ к распределенной
информации без ее перемещения
 Лучшая в индустрии оптимизация
запросов с поддержкой SSO,
функции компенсации
 Поддержка транзакций между SQL
распределенными источниками
SQL
Content
MainframeMainframeRelational
XML Packaged Web, Collaboration Content Workflow
databases files databases Web services
applications
Non-Relational
Systems Repositoriessystems
Sources
and
Imaging Systems
15
© 2007 IBM Corporation
IBM Information Management
Федеративные запросы делают интеграцию простой как
SQL
SELECT
parameters_return_billto_key as BILL_TO_KEY,
billto_company_name,
parameters_return_shipto_key as SHIP_TO_KEY,
CASES_SHIPPED,
GROSS_SALES,
Один запрос SQL :
URL
FROM
GETKEYSSOAP_GETKEYSREALTIME_NN,
 Web Service
GLOBAL_SALES_TRAN_NN,
 XML Documents
BILLTO_DIMENSION,
 Data Warehouse
URL_INVOICES
 Unstructured Data
WHERE
and
and
and
and
16
getkeysrealtime_ship_to_number = '13546'
getkeysrealtime_ship_to_number = URL_INVOICES.shipno
ltrim(rtrim(translate(ship_to_number, ' ', x'0a')))
= getkeysrealtime_ship_to_number
parameters_return_billto_key = billto_key
ltrim(rtrim(translate(sales_order_number, ' ', x'0a')))
= URL_INVOICES.orderno;
© 2007 IBM Corporation
IBM Information Management
Интегрированный набор инструментов для
Dynamic Warehousing
IBM Information Server
17
© 2007 IBM Corporation
IBM Information Management
Интегрированный набор инструментов для
Dynamic Warehousing
Data Architect
18
© 2007 IBM Corporation
IBM Information Management
Introducing IBM Balanced WarehouseTM
A fast track to warehousing
Balanced Warehouse
IBM DB2®
Просто
Warehouse
Гибко
Оптимально
Простота
 Предопределенная конфигурация для
упрощения
комплекса
Balanced
Configuration
Unit (BCU)
 Один номер для поддержки решения
Преконфигурированный,
Претестрированный, масштабируемый
Гибкость
при росте и Аппаратного
набор
Программного
 Простое Добавление BCUs для
Обеспечения
увеличивающихся потребностей
 Надежно, возможность повторного
использования для других задач
Оптимизирован для
Производительности
 Преконфигурирован и сертифицирован для
предоставления гарантированной
производительности
 Основан на лучших практиках для уменьшения
риска
19
© 2007 IBM Corporation
IBM Information Management
Гибридное партиционирование
HASH
999 Machines
32K Partitions
RANGE
64G
A-C
64G
D-M
64G
64G
N-Q
R-Z
MDC
20
© 2007 IBM Corporation
IBM Information Management
Компрессия строк
Без Компресии
С Компрессией
Страница без
Компрессии
21
SOCKS BLUE DALLAS TEXAS
x’01C’
Общая
последовательность
заменяется на 12 байт
Страница с
компрессией
© 2007 IBM Corporation
IBM Information Management
Индустриальные Модели данных
BDW
Финансовые Рынки
(Banking Data Warehouse)
(Financial Markets Data Warehouse)
 Прибыльность
 Управление
Рисками
 Маркетинг
 Управление рисками
 Управление активами
пассивами
 Соответствие
Требованиям
23
 Управление
активами
пассивами
 Соответствие
требованиям
Управление
Здоровьем
(Health Plan Data Warehouse)
 Заявки
 Medical management
 Управление сетью
 Продажи, маркетинг
and membership
 Финансы
Страхование
Розница
Телекоммуникации
(Insurance Information
Warehouse)
(Retail Data Warehouse)
(Telecommunications Data
Warehouse)
 Клиенты
 Клиенты
 Управление оттоком
 Заявки
 Управление закупками
 Прибыльность
 Оптимизация складов
 Управление
взаимоотношениями
 Соответствия требованиям
 Управление цепочкой
 Управления рисками
 Соответствие требованиям
 Продажи и маркетинг
 Качество обслуживания
 Профайл пользователя
© 2007 IBM Corporation
IBM Information Management
IBM Industry Data Models: Ключевые компоненты
Business
Analyst
Solution
Architect
Data
Modeler
Process
Modeler
Project
Manager
Service Oriented Architecture
Data
Models
Process
Models
Service
Models
Model Management
Model Lifecycle and Governance Methodology
 Модель данных для терминов
•
Словарь бизнес определений для единых определений в рамках
организации и индустрии
 Модель EDW
•
Эта модель определяет как множество источников могут быть
консолидированы в единую логическую структуру
 Проектные представления
•
Логическое подмножество EDW и BSTs для решения конкретной
задачи
 Шаблоны бизнес решений (BST)
•
24
Набор Key Performance Indicators для создания OLAP кубов, витрин,
шаблонов отчетности
© 2007 IBM Corporation
IBM Information Management
Фаза планирования
Business
Challeng
e
Pin Point
Model
Identify
Pain
Component Business Model
Industry Models
 Создание стандартов на данные и их управление
 Бизнес планирование и развития IT
 Стабильность проектов
25
© 2007 IBM Corporation
IBM Information Management
Фаза анализа



Business Solution Templates
Project Views
With EM
Extender
Rational Data Architect
Analyze
Source Data
Information Analyzer
 RDA (Enterprise Model Extender)
– Выявление Бизнес требований
– Структурированная по области проблем
– Определяет область для реализации IT реализации
 Дополнение Information Analyzer
– Предоставление необходимого анализа данных
26
© 2007 IBM Corporation
IBM Information Management
Создание дизайна
With EM
Extender
Rational Data Architect
Create Database
Schema
Create OLAP or
Data Marts
Enterprise Data Warehouse Model
Business Solution Templates
 RDA (plus Enterprise Model Extender)
– Генерация ХД, витрин/кубов
– Инкрементальная, проектная, корпоративная разработка
– Трассировка бизнес требований до уровня кода
– Сравнение, объединение моделей
27
© 2007 IBM Corporation
IBM Information Management
Фаза реализации
Trusted
Data
Information Server
Enterprise Data Warehouse
and Data Marts
Analytical Application
Business Glossary
 Определение целевых структур
 Общий глоссарий
 Инкрементальная разработка без переписывания
28
© 2007 IBM Corporation
IBM Information Management
Анализ требований
29
© 2007 IBM Corporation
IBM Information Management
Extended
Insight
Introducing IBM OmniFind Analytics Edition
 Обширные интерфейсы для объединения структурированных и не
структурированных данных
 Объединение поиска и текстовой аналитики
Unstructured analytics framework
Original Data
Category
Structured Data
Item
Search, visualization
and interactive mining
[Call Taker] James
[Date] 2002/08/30
[Duration] 10 min.
[CustomerID] ADC00123
Call Taker: James
Date: Aug. 30, 2002
Duration: 10 min.
CustomerID: ADC00123
D: Complained about
rejected claim for
antibiotics; form req’d
more information
Extracted
metadata
Analysis tools
Linguistic
analysis
[type] complaint
[issue] denied claim
[service] prescription
[resolution] add’l info
Unstructured data
30
© 2007 IBM Corporation
IBM Information Management
Alphablox
Data Mart
Web
Application
Server
Intranet/
Extranet
Client
Browser
Data Mart
IE, Netscape
Data Warehouse
Alphablox
App Server
Relational
Database Systems
31
Analysts
Business Users,
Customers,
Partners &
Suppliers
© 2007 IBM Corporation
IBM Information Management
32
© 2007 IBM Corporation
IBM Information Management
Thank You
© 2007 IBM Corporation
Скачать