IBM Information Management IBM Dynamic Warehouse Николай Куликов Nikolay_Kulikov@ru.ibm.com March 2007 © 2007 IBM Corporation IBM Information Management Ясная, необходимая информация в Любом месте в Любое время Information On Demand − Оптимизация каждой транзакции − Call Центры, Сотрудники в полях OLAP & Data Mining − Запасы, Товары, Движение Запросы и Отчеты − Финансы, Продажи 1 Помощь в раскрытии преступлений предоставление необходимой информации в момент прибытия офицеров на место происшествия Оптимизация работы полицейских Статистика преступлений © 2007 IBM Corporation IBM Information Management Dynamic Warehousing A New Approach to Leveraging Information Information On Demand Оптимизация реальных процессов Dynamic Warehousing Требует: OLAPDynamic & Data Warehousing Mining Понимаем почему 1. Встроенная аналитика которая используется как часть бизнес произошло и процесса рекомендуем действия на Традиционные 2.будущее Возможность включения знаний из неструктурированной информации 3. Возможность быстрого доступа к агрегированной иХранилища очищенной информации Запросы и Отчеты в любом контексте 4. Полный набор средств для интеграции информации Для понимания Что произошло 2 © 2007 IBM Corporation IBM Information Management Больше примеров Dynamic Warehousing в действии Традиционные Хранилища Аналитика и отчетность мошенничеству в страховании Определение потенциально мошеннических заявок до согласования и оплаты Преобразование страхования Отчетность по претензиям клиентов Выявление потенциальных похожих заявок, снижение ухода клиента, возможность кросс продаж Преобразование клиентской службы Анализ и отчетность по продажам за прошедший период Выявление необходимой информации о клиенте для идентификации возможности дополнительных продаж Преобразование эффективности продаж Статистика и отчетность по преступлениям 3 Dynamic warehousing Выявление похожих инцидентов до прибытия на место происшествия Преобразование борьбы с преступниками © 2007 IBM Corporation IBM Information Management Вызовы стоящие перед традиционными ХД ХД должны сейчас: Адресованы к расширяющимся потребностям аналитики по запросу Использовать ВСЕ типы информации включая неструктурированную Обслуживать увеличивающиеся количество и типы приложений и пользователей с различными потребностями уровня обслуживания Увеличивающаяся Смешанная нагрузка и Постоянно изменяющиеся требования различных бизнес направлений требует более Динамичных Возможностей ХД 4 © 2007 IBM Corporation IBM Information Management IBM предоставляет больше чем хранилище Встроенная Аналитика (встроенная и как сервис) Многомерный анализ Data mining,Визуализация IBM DB2 Традиционное Warehouse ХД Data Volumes За границами традиционных структурированных данных Unstructured Structured “As a direct effect of the mixed workload, with continuous loading and the increase in automated transactions from the functional analytics in OLTP, the transactional DBMSs have an Преимущества Выделенные edge that challenges the DW DBMSs (such as Teradata)” OLTP DW DBMS транзакционного Высокая компрессия ХД основания Gartner DataСокращение Warehouse Magic 2006 затратQuadrant, на Архитектура Shared- Оптимизация для быстрого доступаысокая доступность и надежность, Масштабируемость, безопасность, аудируемость 5 диски, лучшая утилизация дисков, повышение производительности запросов nothing Партиционирование Управление нагрузкой © 2007 IBM Corporation IBM Information Management IBM Dynamic Warehousing Интегрированное предложение IBM Information Information integration Server ™ IBM Search OmniFind and text Analytics analytics Edition IBM Enterprise Rational® data Data modeling Architect IBM Process FileNet BPM WebSphere management BPM Традиционное IBM DB2 Warehouse ХД IBM Industry Industry Data perspective Models IBM WebSphere Master data Customer Center management & Product Center SOA Infrastructure IBM Global Services 6 © 2007 IBM Corporation IBM Information Management Решение от IBM: IBM Information Server Предоставление информации которой вы можете доверять IBM Information Server Общее Внедрение Обнаружение, моделирование, управление информацией Стандартизация, объединение, и корректировка информации Объединение и реструктуризация информации для нового пользования Синхронизация, виртуализация, перемещение информации Общее управление метаданными 7 © 2007 IBM Corporation IBM Information Management IBM Information Server - Архитектура ОБЩИЙ GUI Интерфейс Интерфейс Интерфейс Web Аналитика Разработчика Администрирования ОБЩИЕ СЛУЖБЫ Службы Метаданных Службы установки Службы Службы Журнала & безопасности Отчетности ОБЩАЯ ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА Понимание Очистка Трансформация Доставка ОБЩИЕ МЕТАДАННЫЕ Разработка Оперативные ОБЩИЕ ИНТЕРФЕЙСЫ ДОСТУПА Структурированные, Неструктурированные, Приложения, Mainframe 8 © 2007 IBM Corporation IBM Information Management Почему важно начинать с Понимания? Где необходимая информация? Как я могу ее получить если она мне нужна? Что она означает? Могу ли я ей доверять? Когда я ее получаю в какой форме она мне нужна? Как я могу ее контролировать? 9 © 2007 IBM Corporation IBM Information Management Физические метаданные: IBM WebSphere Information Analyzer Основанный на данных анализ приложений, БД и файловых источников данных Безопастная, детальная профилировка полей, между полями и между источниками Создание метаданных как результатов профилирования Subject Matter Experts Data Analysts IBM WebSphere Information Analyzer Анализ структур исходных данных и мониторинг их качества и соответствия правилам Результаты постоянно доставляются посредством IBM Information Server Physical View 10 © 2007 IBM Corporation IBM Information Management Бизнес метаданные: IBM WebSphere Business Glossary Построенная на Web система для описания, управления & общего доступа к бизнес метаданным Выравнивание действий IT с целями бизнеса Предоставление бизнес контекста к информационным активам Database = DB2 Table = DLYTRANS data type = char(11) 11 Business Users IBM WebSphere Business Glossary Create and manage business vocabulary and relationships, while linking to physical sources GL Account Number Schema = NAACCT Column = ACCT_NO Subject Matter Experts Technical Business The ten digit account number. Sometimes referred to as the account ID. This value is of the form LFIIIIVVVV. Business View © 2007 IBM Corporation IBM Information Management Очистка данных: IBM WebSphere QualityStage Специализированные функции очистки данных прозрачно интегрированы с DataStage Визуальные инструменты для определения комплексных отображений и логики сохранения полей Проверка очистки, стандартизации, дедубликации информации Subject Matter Experts Data Analysts IBM WebSphere QualityStage™ Standardize and correct source data fields, and match records together across sources to create a single view Единая версия правды Visual Match Rule Design 12 © 2007 IBM Corporation IBM Information Management Что важно в трансформации и доставке данных? Трансформация это ключ для предоставления информации для использования ее в новых бизнес контекстах – это требует что бы эта информация была основанная на метаданных Разработана для использования экспертами по информации и управляется посредством метаданных Трансформация и доставка может быть использована множеством механизмов Data Analysts – Перемещение больших объемов заданиями(batch) – Ответ на событие в реальном времени – SOA – Федеративные запросы Data Architects DBAs Subject Matter Experts Logic Reuse Request Response Query 13 © 2007 IBM Corporation IBM Information Management Трансформация & Перемещение: IBM WebSphere DataStage Визуальная разработка потоков данных с сотнями встроенных трансформаций Developers Architects Оптимизированное использование объектов интеграционных IBM WebSphere DataStage® Возможность параллельной обработки без необходимости изменять процессы обработки Трансформация и агрегация любых объемов информации Возможность работы как с batch так realtime операциями 14 © 2007 IBM Corporation IBM Information Management Федеративные данные: IBM WebSphere Federation Server Доступ к распределенной информации без ее перемещения Лучшая в индустрии оптимизация запросов с поддержкой SSO, функции компенсации Поддержка транзакций между SQL распределенными источниками SQL Content MainframeMainframeRelational XML Packaged Web, Collaboration Content Workflow databases files databases Web services applications Non-Relational Systems Repositoriessystems Sources and Imaging Systems 15 © 2007 IBM Corporation IBM Information Management Федеративные запросы делают интеграцию простой как SQL SELECT parameters_return_billto_key as BILL_TO_KEY, billto_company_name, parameters_return_shipto_key as SHIP_TO_KEY, CASES_SHIPPED, GROSS_SALES, Один запрос SQL : URL FROM GETKEYSSOAP_GETKEYSREALTIME_NN, Web Service GLOBAL_SALES_TRAN_NN, XML Documents BILLTO_DIMENSION, Data Warehouse URL_INVOICES Unstructured Data WHERE and and and and 16 getkeysrealtime_ship_to_number = '13546' getkeysrealtime_ship_to_number = URL_INVOICES.shipno ltrim(rtrim(translate(ship_to_number, ' ', x'0a'))) = getkeysrealtime_ship_to_number parameters_return_billto_key = billto_key ltrim(rtrim(translate(sales_order_number, ' ', x'0a'))) = URL_INVOICES.orderno; © 2007 IBM Corporation IBM Information Management Интегрированный набор инструментов для Dynamic Warehousing IBM Information Server 17 © 2007 IBM Corporation IBM Information Management Интегрированный набор инструментов для Dynamic Warehousing Data Architect 18 © 2007 IBM Corporation IBM Information Management Introducing IBM Balanced WarehouseTM A fast track to warehousing Balanced Warehouse IBM DB2® Просто Warehouse Гибко Оптимально Простота Предопределенная конфигурация для упрощения комплекса Balanced Configuration Unit (BCU) Один номер для поддержки решения Преконфигурированный, Претестрированный, масштабируемый Гибкость при росте и Аппаратного набор Программного Простое Добавление BCUs для Обеспечения увеличивающихся потребностей Надежно, возможность повторного использования для других задач Оптимизирован для Производительности Преконфигурирован и сертифицирован для предоставления гарантированной производительности Основан на лучших практиках для уменьшения риска 19 © 2007 IBM Corporation IBM Information Management Гибридное партиционирование HASH 999 Machines 32K Partitions RANGE 64G A-C 64G D-M 64G 64G N-Q R-Z MDC 20 © 2007 IBM Corporation IBM Information Management Компрессия строк Без Компресии С Компрессией Страница без Компрессии 21 SOCKS BLUE DALLAS TEXAS x’01C’ Общая последовательность заменяется на 12 байт Страница с компрессией © 2007 IBM Corporation IBM Information Management Индустриальные Модели данных BDW Финансовые Рынки (Banking Data Warehouse) (Financial Markets Data Warehouse) Прибыльность Управление Рисками Маркетинг Управление рисками Управление активами пассивами Соответствие Требованиям 23 Управление активами пассивами Соответствие требованиям Управление Здоровьем (Health Plan Data Warehouse) Заявки Medical management Управление сетью Продажи, маркетинг and membership Финансы Страхование Розница Телекоммуникации (Insurance Information Warehouse) (Retail Data Warehouse) (Telecommunications Data Warehouse) Клиенты Клиенты Управление оттоком Заявки Управление закупками Прибыльность Оптимизация складов Управление взаимоотношениями Соответствия требованиям Управление цепочкой Управления рисками Соответствие требованиям Продажи и маркетинг Качество обслуживания Профайл пользователя © 2007 IBM Corporation IBM Information Management IBM Industry Data Models: Ключевые компоненты Business Analyst Solution Architect Data Modeler Process Modeler Project Manager Service Oriented Architecture Data Models Process Models Service Models Model Management Model Lifecycle and Governance Methodology Модель данных для терминов • Словарь бизнес определений для единых определений в рамках организации и индустрии Модель EDW • Эта модель определяет как множество источников могут быть консолидированы в единую логическую структуру Проектные представления • Логическое подмножество EDW и BSTs для решения конкретной задачи Шаблоны бизнес решений (BST) • 24 Набор Key Performance Indicators для создания OLAP кубов, витрин, шаблонов отчетности © 2007 IBM Corporation IBM Information Management Фаза планирования Business Challeng e Pin Point Model Identify Pain Component Business Model Industry Models Создание стандартов на данные и их управление Бизнес планирование и развития IT Стабильность проектов 25 © 2007 IBM Corporation IBM Information Management Фаза анализа Business Solution Templates Project Views With EM Extender Rational Data Architect Analyze Source Data Information Analyzer RDA (Enterprise Model Extender) – Выявление Бизнес требований – Структурированная по области проблем – Определяет область для реализации IT реализации Дополнение Information Analyzer – Предоставление необходимого анализа данных 26 © 2007 IBM Corporation IBM Information Management Создание дизайна With EM Extender Rational Data Architect Create Database Schema Create OLAP or Data Marts Enterprise Data Warehouse Model Business Solution Templates RDA (plus Enterprise Model Extender) – Генерация ХД, витрин/кубов – Инкрементальная, проектная, корпоративная разработка – Трассировка бизнес требований до уровня кода – Сравнение, объединение моделей 27 © 2007 IBM Corporation IBM Information Management Фаза реализации Trusted Data Information Server Enterprise Data Warehouse and Data Marts Analytical Application Business Glossary Определение целевых структур Общий глоссарий Инкрементальная разработка без переписывания 28 © 2007 IBM Corporation IBM Information Management Анализ требований 29 © 2007 IBM Corporation IBM Information Management Extended Insight Introducing IBM OmniFind Analytics Edition Обширные интерфейсы для объединения структурированных и не структурированных данных Объединение поиска и текстовой аналитики Unstructured analytics framework Original Data Category Structured Data Item Search, visualization and interactive mining [Call Taker] James [Date] 2002/08/30 [Duration] 10 min. [CustomerID] ADC00123 Call Taker: James Date: Aug. 30, 2002 Duration: 10 min. CustomerID: ADC00123 D: Complained about rejected claim for antibiotics; form req’d more information Extracted metadata Analysis tools Linguistic analysis [type] complaint [issue] denied claim [service] prescription [resolution] add’l info Unstructured data 30 © 2007 IBM Corporation IBM Information Management Alphablox Data Mart Web Application Server Intranet/ Extranet Client Browser Data Mart IE, Netscape Data Warehouse Alphablox App Server Relational Database Systems 31 Analysts Business Users, Customers, Partners & Suppliers © 2007 IBM Corporation IBM Information Management 32 © 2007 IBM Corporation IBM Information Management Thank You © 2007 IBM Corporation