Web банк - Вся банковская автоматизация 2015

Убей своего дракона
или управление
качеством данных в АБС
Докладчик: Газизов А.А.
Вице-Президент,Директор Департамента Практик
Прикладных Решений, Компания ОТР.
История вопроса
Diasoft
MDM
Офисы
Бюджетная
структура
Подразделения
(штатная
структура)
Сотрудники
Территории
Офисы
Бюджетная структура
Подразделения
(штатная структура)
Сотрудники
Территории
Офисы
Бюджетная
структура
Подразделения
(штатная
структура)
Сотрудники
Территории
Офисы
Бюджетная структура
Подразделения
(штатная структура)
Сотрудники
Территории
Бюджетная структура
Территории
1С
DWH
Подразделения
(штатная структура)
Сотрудники
Офисы
Бюджетная структура
Подразделения
(штатная структура)
Сотрудники
Интербан
к ФЛ
Lotus
Офисы
Filenet
(Кред.
процесс)
CRM
ДКБ
OmniTracker
Сотрудники
RS-bank
Офисы
Бюджетная структура
Подразделения
(штатная структура)
Сотрудники
Территории
Офисы
Сотрудники
Life Service
Подразделения
(штатная структура)
Бюджетная структура
Сотрудники
Бюджетная структура
Подразделения
(штатная структура)
Сотрудники
Бюджетная структура
Подразделения
(штатная структура) Сотрудники
Сотрудники
Территории
Офисы
ESB
Офисы
Бюджетная структура
Офисы
Бюджетная структура
Бюджетная структура
Подразделения
(штатная структура)
Сотрудники
Территории
Офисы
Территории
CRM
ДМСБ
Treasury
Way4
Front Касса
Front
Demand
Front
SME
Бюджетная структура
Офисы
Территории
Бюджетная структура
Офисы
Территории
Офисы
Территории
Front
Dealing
Collaboration
Бюджетная структура
Офисы
Территории
Офисы
Офисы
Офисы
Территории
Front Retail
Front ДКБ
Front ДЭК
2
Путь ОТР АСФК
3
Путь ОТР АСФК
4
Путь ОТР АСФК

Реализованы все справочники для обеспечения бюджетного процесса РФ
 133 сложносоставных справочника (примеры)








Перечень участников бюджетного процесса
Сводный перечень заказчиков
Перечень государственных (муниципальных) учреждений
Коды доходов бюджета, коды расходов и коды ИФДБ (ФБ)
Коды глав (ФБ)
ЕГРЮЛ
Российские банки
Коды субсидий 72Н

Реализованы процедуры:
 Ведения справочников;
 Загрузки и обновления;
 Публикации;

Маштабируемость и нагрузка:
 За месяц обрабатывается 20 млн документов
5
Путь ОТР ЭБ
6
Проблемное поле
•
Взаимодействие
информационных
систем
•
•
отсутствие представления компании о всех клиентах
проверки через Бюро Кредитных Историй не выявляют
мошенников
•
высокие трудозатраты при подготовке отчетности в
Агентство по Страхованию Вкладов, Федеральную
Налоговую Службу, Пенсионный фонд и другие надзорные
органы
•
ошибки в написании имен и фамилий при отправке
клиентам персонализированных обращений
•
дополнительные трудности при сегментировании
аудитории и индивидуализации маркетинговых
материалов
Отчетность
Маркетинг
невозможно обеспечить веб-доступ клиентов сразу ко
всем их продуктам по причине того что различные
продукты ведутся в разных системах
7
Потери от некачественных данных
Прямые потери
Косвенные потери
Штрафы регуляторов
за ошибки в отчетности
Ошибки и простои
интеграционных проектов
Возвраты почтовых отправлений
выписок, целевых предложений и
других почтовых отправлении
Потеря конкурентных преимуществ
от ошибок в веб-доступе и в других
сервисах для клиентов
Дополнительные трудозатраты на
формирование отчетности и
проведение ошибочных операции
Ошибки в BI исследованиях и
формировании целевых
предложений
8
Интеграция сервисов (как должно
быть)
АБС Кредитов
АБС Вкладов
АБС Карт
АБС Ценных
бумаг
ФИО, паспорт
ФИО,
паспорт
ФИО,
паспорт
ФИО,
паспорт
Кредиты
Вклады
Карты
ЦБ
СЕРВИСНАЯ ШИНА
ФИО,
паспорт
Кредиты
Вклады
Карты
ЦБ
Web банк
9
Интеграция сервисов (как получается)
АБС Кредитов
АБС Вкладов
АБС Карт
АБС Ценных
бумаг
ФИО паспорт
ФИО (девичья
фамилия)
ФИО загран.
паспорт
ФИО, ошибка
в № паспорта
Кредиты
Вклады
Карты
ЦБ
СЕРВИСНАЯ ШИНА
ФИО,
паспорт
?
Карты
Кредиты
Вклады
Web банк
ЦБ
10
Откуда берутся плохие данные?
Ошибки ввода
Опытный оператор в среднем вводит от 1 до 3% ошибочных
данных, неподготовленный оператор допускает ошибки в каждой
пятой записи
Устаревание
персональных данных
Изменение фамилий, телефонов, адресов приводят к ежегодной
потере актуальности 1-3% данных
Устаревание
справочников
Переподчинение регионов, замена телефонных кодов и другие
изменения на федеральном уровне приводят к ежегодной потере
актуальности 3-5% данных
Использование старых
БД
Ошибки ПО
Во многих организациях используются
данные введенные с бумажных носителей 10-25 лет назад при
запуске ИТ систем
Неправильная структура БД, потери данных при передаче и
миграции данных (более 50% ошибок в данных связано именно с
системными решениями и технологическими ошибками)
11
Что делать?
12
Что делать?
Ошибки ввода
опытный оператор в среднем вводит от 1 до 3% ошибочных
данных,
Проверять
неподготовленный
полноту,оператор
целостность
допускает
и корректность
ошибки в каждой
пятой записи
Устаревание
персональных данных
Изменение фамилий, телефонов, адресов приводят к ежегодной
Обновлять, актуализировать
потере актуальности 1-3% данных
Устаревание
справочников
Переподчинение регионов, замена телефонных кодов и другие
Обновлять,
актуализировать
изменения на федеральном
уровне
приводят к ежегодной потере
актуальности 3-5% данных
Использование старых
БД
во многих
организациях
используются
Приводить
к единому
формату, дедуплицировать,
данные введенные с бумажных носителей 10-25 лет назад при
обогащать
запуске ИТ систем
Ошибки ПО
Неправильная
структура БД, потери
данных
при передаче
и
Стандартизировать
ввод,
хранение
и обмен
миграции данных (более 50% ошибок в данных связано именно с
системными решениями иинформацией
технологическими ошибками)
13
Эффективность и стоимость
ручного труда
Среднее кол-во исправленных ошибок в час
Без привлечения документов и контактов с
клиентом
10-20
При работе с электронными архивами
7-15
При работе с бумажными документами
2-7
При телефонном контакте с клиентом
4-5
14
Эффективность и стоимость
ручного труда
Min
Max
Зарплата оператора исправляющего ошибки
10 000
40 000
Накладные затраты рабочего места
10 000
20 000
Кол-во исправленных ошибок (в месяц)
352
3520
Стоимость исправления 1 ошибки
5, 68 руб. 170,45 руб.
15
Ручной труд или автоматизация?
Кол-во учетных
записей
Издержки
До 500 000
Годовые прямые потери меньше стоимости автоматизации
(но это зависит от эффективности контроля ввода данных, и
количества критически важных полей в системах)
От 500 000
Стоимость автоматизации сопоставима с годовыми прямыми
потерями
От 10 000 000
Ежемесячные прямые потери превышают стоимость автоматизации
16
Интеграция сервисов с помощью MDM
АБС Кредитов
АБС Вкладов
АБС Карт
АБС Ценных
бумаг
ФИО паспорт
ФИО
(девичья
фамилия)
ФИО загран
паспорт
ФИО, ошибка
в№
паспорта
Карты
ЦБ
MDM
Кредиты
Вклады
СЕРВИСНАЯ ШИНА
ID MDM
Кредиты
Вклады
Карты
ЦБ
Web банк
17
С чего начать? Найди 2 отличия?
DWH
предметно-ориентированная информационная база данных,
специально разработанная и предназначенная для
подготовки отчётов и бизнес-анализа с целью поддержки
принятия решений в организации
MDM
совокупность процессов и инструментов для постоянного
определения и управления основными данными компании (в том
числе справочными).
18
С чего начать? MDM
Задачи
Для реализации MDM и DWH решаются одинаковые, результат по MDM
достижим, можно быстро измерить, сжатые сроки внедрения
-
Вывод
MDM является пререквизитом, для внедрения современного DWH => сокращение
сроков внедрения и стоимости*
* Достигается при выборе одного вендора и исполнителя
19
Обследование ИС и текущих
процессов управления справочными
данными
•
Определение перечня систем входящих в рамки проекта,
•
Определение реестра справочников в системах,
•
Определение списка атрибутов справочников в системах,
•
Определение общих «знаменателей» для найденных
справочников и атрибутов,
•
Определение возможностей использования единых
справочников в различных бизнес процессах,
•
Определение перечня перекодировок для приведения к общим
«знаменателям».
20
Качество данных и внедрение
MDM-решения
оступность
остоверность
одержательность
воевременность
тойчивость
туальность
презентативность
оказатели качества информации
очность
Внедрение MDMрешения
улучшает
показатели
качества
информации
Показатели качества
Доступность
Точность
Достоверность
Актуальность
Своевреме
21
Обследование ИС и текущих процессов
управления справочными данными
К внедрению в составе MDM- решения по
результатам обследования предложено
включить 32 справочника
Основные критерии отбора справочников для включения в
MDM-решение
Показатели качества
 Неполное и/или противоречивое описание объектов НСИ (нормативно-справочной
информации), в том числе наличие дублей или неоднозначная классификация объектов
НСИ
 Невозможность обеспечения бизнес процесса из-за отсутствия НСИ
 Сложность поддержки НСИ и/или множества интерфейсов репликации, влияние
недостатков текущей архитектуры на планы развития ИС
Доступность
Точность
Достоверность
Актуальность
Своевременность
 Отсутствие возможности развития в направлении анализа данных (analytical MDM)
 Средняя периодичность обновления данных справочника
 Использование справочника в двух и более системах
Фаза 1. Этап 1 – Реестр справочников.
Обследован 61 справочник
(зафиксировано протоколами)
Масштаб проекта - 32 справочника
присутствуют в 239 копиях
в 25 системах
№ п\п
Названия справочников/Названия систем
1
БИК
2
Бюджетная структура
3
Валюты
4
Взаимосвязанные клиенты
5
Выходные дни
6
Группы операций по выплатам
7
Группы пользователей
8
Источники финансирования
9
Кассовые символы
10
КБК
11
КЛАДР
12
Клиенты
13
Контрагенты
14
Направления и задачи для управления отчетностью
15
Офисы
16
Подразделения (штатная структура)
17
Получатели
18
Продукты
19
Проекты, задачи
20
Регионы
21
Сотрудники
22
Ставки по депозитам и кредитам
23
Статьи УУ
24
Статьи финансового учета
25
Страны
26
Стратегии
27
Счета
28
Территории
29
Типы операций Фронт
30
Услуги
31
Участники группы Life
32
Форматы
DWH
Diasof
t
1C
Filenet
Интер Интер
Life
Collab
Front
Front
Front
Lotus
Filenet (Кред. RS- OmniT
CRM CRM
Treasu АСВК
Front
Front
Front Front Front
Way4
банк банк
Servic
oratio
Dealin
Dema
Факто
Notes
(AXP) проце Bank racker
ДКБ ДМСБ
ry
Б
Касса
SME
ДКБ Retail ДЭК
ЮЛ
ФЛ
e
n
g
nd
ринг
сс)
23
Пример атрибутивного состава
справочников
Проведено сопоставление атрибутов во всех системах
Составлен список атрибутов для MDM-системы по каждому справочнику
Спроектированы уникальные ключи для MDM-системы
Выделены первичные ключи для систем Банка
Диасофт
DWH
Наименование атрибута
Фамилия
Имя
Отчество
Предыдущая фамилия
Дата смены фамилии
ФИО
Первая буква имени
Первая буква отчества
Табельный номер
Персональный код
Пол
Клиент
Контрагент
Телефон внутренний
Телефон городской
Телефон мобильный
Факс
Признак руководителя
Подчиненные
Тип данных
Наличие в
системе
VARCHAR2(200)
VARCHAR2(200)
VARCHAR2(800)
да
да
да
VARCHAR2(4000)
да
ФИО непосредственного руководителя
Персональный код непосредственного
руководителя
Телефон руководителя
Наименование должности
ЦФО1
ЦФО2
Дивизион
ЦФО банка
Код подразделения
ИД бюджетного подразделения
Подразделение
Наименование подразделения
VARCHAR2(640)
VARCHAR2(255)
VARCHAR2(255)
VARCHAR2(255)
VARCHAR2(255)
VARCHAR2(20)
VARCHAR2(25)
да
да
да
да
да
да
да
VARCHAR2(200)
да
1C
Тип данных
Наличие в
системе
varchar(500)
varchar(50)
varchar(50)
varchar(100)
Lotus notes
Тип данных
Наличие в
системе
Тип данных
Наличие в
системе
да
да
да
да
varchar(500)
varchar(50)
varchar(50)
varchar(100)
да
да
да
да
текст(20)
текст(20)
текст(20)
текст(20)
да
да
да
да
varchar(255)
да
varchar(255)
да
char(1)
да
char(1)
да
номер(20)
числовой(20)
выпадающий список
да
да
да
текст(20)
текст(20)
текст(20)
общий(20)
char(1)
да
да
да
да
да
char(1)
да
varchar(500)
да
varchar(500)
да
текст(100)
да
int(20)
да
int(20)
да
varchar(200)
да
varchar(200)
да
числовой(20)
числовой(20)
текс(100)
да
да
да
VARCHAR2(255)
да
текст(20)
да
Примерный перечень «знаменателей»
для атрибутов клиента
К данному списку должны быть
приведены все значения
описывающие данную область
данных.
Цель – гармонизация вариантов
написания.
Например, страна, краткое
наименование
«РОССИЯ» – правильное, а «РФ»
не правильное. «Рос. Фед.» не
правильное, а «Российская
Федерация » правильное в полном
наименовании.
Содержание
Виды экономической деятельности
Виды риска
Организационно правовых форм
Офисов
Пол
Признаков резидента
Семейных положений
Статусы
Стран
Типов адресов
Областей ответственности
Типов документов физических лиц
Типов документов организации
Типов контактного лица
Типов контакта
Типов координат
Типов групп взаимосвязанных
Флагов
Форм собственности
БИК
Тарифы
Роли в договоре
Типов лимитов
Типов групп
Адресный классификатор
Гос. эталон
ОКВЭД
нет
ОКОПФ
нет
нет
нет
нет
нет
ОКСМ
нет
нет
нет
нет
нет
нет
нет
нет
нет
ОКФС
БИК
нет
нет
нет
нет
КЛАДР / ФИАС
Фаза 1. Этап 1 – Реестр справочников.
Знаменатель – список значений
описывающих все возможные
варианты значения атрибута.
25
Пример «знаменателя» отсутствующего
в государственных и мировых эталонах
Код документа
ИФНС
Код документа ПФР
1
21
2
22
3
Краткое наименование
Полное наименование
ПАСПОРТ РОССИИ
Паспорт гражданина РФ
Паспорт гражданина Российской Федерации
ЗГПАСПОРТ РФ
Загранпаспорт гражданина РФ
4
УДОСТ ОФИЦЕРА
Удостоверение личности офицера
4
7
ВОЕННЫЙ БИЛЕТ
5
10
6
1
7
8
Формат
серии
Формат номера
Уникальност
Возраст получения
ь
9999
999999
Y
14
Загранпаспорт гражданина Российской Федерации
99
9999999
Y
14
Удостоверение личности офицера
ББ
999999
N
18
Военный билет солдата
Военный билет солдата (матроса, сержанта, старшины)
ББ
999999
Y
18
ИНПАСПОРТ
Иностранный паспорт
Паспорт иностранного гражданина
SSSSSSSSSS
SSSSSSSSSSSS
N
0
ПАСПОРТ
Паспорт гражданина СССР
R-ББ
999999
Y
16
2
ЗГПАСПОРТ
Загранпаспорт гражданина СССР
Загранпаспорт гражданина Союза Советских Социалистических Республик
99
990999999
N
16
9
ДИППАСПОРТ РФ
Дип. Паспорт РФ
Дипломатический паспорт гражданина Российской Федерации
99
9999999
Y
0
9
3
СВИД О РОЖД
Свидетельство о рождении
Свидетельство о рождении гражданина Российской Федерации
R-ББ
999999
Y
0
10
27
ВОЕН БИЛЕТ ОЗ
Военный билет офицера запаса
Военный билет офицера запаса
ББ
0999999
Y
18
11
6
ПАСПОРТ МОРФЛТ
Паспорт Минморфлота
Паспорт Минморфлота
ББ
999999
Y
0
12
26
ПАСПОРТ МОРЯКА
Паспорт моряка
Паспорт моряка
ББ
0999999
Y
0
13
14
ВРЕМ УДОСТ
Врем. удост. личн. гражд. РФ
Временное удостоверение личности гражданина Российской Федерации
SSSSSSSSSS
SSSSSSSSSSSS
Y
0
14
12
ВИД НА ЖИТЕЛЬ
Вид на жительство
Вид на жительство на территории Российской федерации
SSSSSSSSSS
SSSSSSSSSSSS
Y
0
15
13
УДОСТ БЕЖЕНЦА
Удостоверение беженца в РФ
Удостоверение беженца в Российской Федерации
SSSSSSSSSS
SSSSSSSSSSSS
N
0
16
11
СВИД БЕЖЕНЦА
Св-во о рег. ход-ва имигранта
Свидетельство о регистрации ходатайства иммигранта о признании его
беженцем
SSSSSSSSSS
SSSSSSSSSSSS
N
0
17
5
СПРАВКА ОБ ОСВ
Спр. об осв. из мест лиш. cв.
Справка об освобождении из мест лишения свободы
SSSSSSSSSS
SSSSSSSSSSSS
N
16
18
91
ПРОЧЕЕ
Иные документы
Иные документы удостоверяющие личность гражданина Российской
Федерации
SSSSSSSSSS
SSSSSSSSSSSS
N
0
19
15
Разрешение на врем. проживание
Разрешение на временное проживание в Российской Федерации
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Св-во о рождении иностранное
Свидетельство о рождении, выданное уполномоченным органом
иностранного государства
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Удост-е работника прокуратуры
Служебное удостоверение работника прокуратуры
SSSSSSSSSS
SSSSSSSSSSSS
N
18
Служебный паспорт гражданина Российской Федерации
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Дипломатический паспорт иностранный
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Не определено
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Виза
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Миграционная карта
SSSSSSSSSS
SSSSSSSSSSSS
N
0
9999999999
N
0
20
21
23
Паспорт гражданина Союза Советских Социалистических Республик
22
Служебный паспорт
23
Дип. Паспорт иностранный
24
Не определено
25
Виза
26
Миграционная карта
27
Пенсионное удостоверение
28
Свид. о регистрации
29
Лицензия
30
Водительское удостоверение
31
Полис медицинского страхования
32
ИНН
33
Карточка соц. страхования
Карточка соц. страхования
34
Справка по инвалидности
35
Разрешение
36
Св-во о праве на наследство
37
Свидетельство о регистрации ТС
38
39
Пенсионное удостоверение
Свидетельство о регистрации
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Лицензия
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Водительское удостоверение
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Полис медицинского страхования
SSSSSSSSSS
SSSSSSSSSSSS
N
0
99999999999 или 9999999999
N
0
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Справка по инвалидности
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Разрешение
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Свидетельство о праве на наследство
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Свидетельство о регистрации ТС
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Учетный код ФМС РФ
Учетный код ФМС РФ
SSSSSSSSSS
SSSSSSSSSSSS
N
0
Паспорт предыдущий
Паспорт предыдущий
SSSSSSSSSS
SSSSSSSSSSSS
N
0
ИНН
Фаза 1. Этап 1 – Реестр справочников.
id
•
Разработка схемы потоков данных между системами,
•
Разработка таблиц перекодировок,
•
Разработка методики решения неоднозначных преобразований при «свертке
данных» на перекодировках,
•
Подготовка целевой архитектуры МДМ-системы,
•
Определение критериев качества значений атрибутов, кортежей, значений
справочников.
•
Разработка условий автоматической дедубликации,
•
Разработка условий «выживания» значений при дедубликации, обновлении
данных.
Кортеж – набор значений атрибутов описывающих одну бизнес сущность. Например, Документ,
удостоверяющий личность
Значение справочника – набор кортежей, описывающий основную бизнес сущность справочника.
Например. Значение справочника клиент. Описывает физическое лицо и его взаимоотношение с банком.
Содержит кортежи. Перс. данные, документы, контакты, адреса, взаимоотношения и так далее.
27
Фаза 1. Этап 2 – Потоки данных справочников .
Формирование целевой архитектуры
Пример функциональной модели
Бизнеспользователь
MDM-система
Разбор ошибочных ситуаций,
коррекция целостности данных,
дедубликация в системахисточниках
Бизнеспользователь
Получение и дистрибуция данных
Системы-источники данных
Бизнес-процессы Группы,
связанные с использованием и
изменением справочников. Ввод и
изменение элементов
справочников
Согласование
добавления и
изменения
справочников
Ввод и изменение
элементов
справочников
Бизнеспользователь
Передача новых,
измененных, удаленных
элементов справочника
в режиме онлайн
Преобразование данных
на входе к
универсальному
формату
Проверка на
уникальность
Передача новых,
измененных, удаленных
элементов справочника
в регламентном режиме
Дедубликация
Передача новых,
измененных, удаленных
элементов справочника
в регламентном режиме
Формирование перечня
получателей
Формирование или
обновление «золотой
записи», обогащение
данных
Проверки целостности и
полноты
Стандартизация
Передача новых,
измененных, удаленных
элементов справочника
в режиме онлайн
Преобразование данных
на выходе к формату
получателя
Настройка
регламентов, правил
обновления и
рассылки данных
Разбор ошибочных
ситуаций,
корректировка данных
Журналирование,
аудит
Передача
элемента справочника
по запросу системыполучателя
Передача
уведомления об
объединении/разъединении
дубликатов
Бизнес-процессы Группы,
связанные с использованием
справочников
Разбор ошибочных ситуаций,
коррекция целостности данных,
дедубликация в системахполучателях
Хранение
исторических
данных
Data Steward
Data Steward
Построение отчетов о
качестве данных
Настройка
метаданных
Data Steward
Data Steward
Data Steward
28
Системы-получатели данных
Data Steward
Технолог MDM
Технолог MDM
Пример критериев качества
Соответствие справочнику Фамилия – Пол
Словесное описание: Определение корректности Пола и Фамилии.
Если Фамилия и введенный Пол есть в справочнике, и нет альтернативного значения с той же
Фамилией и другого Пола, то устанавливается валидность по наполнению гарантированная;
Если Фамилия и введенный Пол есть в справочнике, но есть альтернативное значения с той же
Фамилией и другого Пола, то устанавливается валидность по наполнению надежная;
Если Фамилия отсутствует в справочнике, то устанавливается валидность по наполнению
рискованная;
Если Фамилия есть в справочнике, но имеет противоположный Пол, то устанавливается
валидность по наполнению критическая;
Блок схема:
Ввод
Фамилии
Ввод пола
Фамилия
Запрос в
справочник
Запрос - ответ
Справочник
Фамилий-пол
Список
Фамилия-пол (0,1,2 значения)
Критическая
Ошибка
Есть в
справочнике
Нет
Рискованная
Да
Гарантированная
Да
Пол фамилии не
имеет альтернатив
Нет
Надежная
29
Пример критериев качества
Сопоставление сущностей Персона
Условия кластеризации
1.
Кластера по сущности Персона строятся по следующим условиям
2.
Первые три буквы имени + первые три буквы фамилии + первые три буквы
отчества
3.
Город + улица
4.
Серия+номер документа
5.
Фамилия + дата рождения
Условия гарантированного дубля
1.
У сущностей совпадают Фамилия, Имя, Даты рождения, Место рождения.
Остальные атрибуты или отсутствуют или не совпадают
2.
У сущностей совпадают Серия+номер документа + тип, даты рождения, фамилии,
имена, для граждан РФ - отчество. Остальные атрибуты или отсутствуют или не
совпадают.
3.
У сущностей совпадают Серия+номер документа + тип, адреса регистрации, даты
рождения. Остальные атрибуты или отсутствуют или не совпадают.
4.
У сущностей совпадают Серия+номер документа + тип, фамилии, имена.
Остальные атрибуты или отсутствуют или не совпадают.
5.
У сущностей совпадают Серия+номер документа + тип, имена, даты рождения,
адреса регистрации. Остальные атрибуты или отсутствуют или не совпадают.
6.
У сущностей совпадают Серия+номер документа + тип, дата рождения, адреса
регистрации. Остальные атрибуты или отсутствуют или не совпадают.
Нечеткая логика так же используется при определении
критериев дублей
30
Пример критериев качества
При объединении двух объектов справочника объединяемые объекты справочника
деактивируются, и создается новый объект справочника на основе значений атрибутов
объединяемых объектов.
Деактивированные объекты справочника помечаются как родительские по отношению к
созданному объекту.
При объединении данных по объектам следует опираться на следующие критерии
выбора значения атрибутов или кортежа для использования в результирующей
записи:
•
Верифицированность
•
Валидность
•
Актуальность
При выборе значения атрибута или кортежа устанавливается следующий набор
приоритетов:
1.
Приоритет доверенных систем над не доверенными
2.
Приоритет верифицированных значений над не верифицированными
3.
Если значение доверенности систем равное, то учитываются показатели валидности и
актуальности
4.
Приоритет актуальных значений над неактуальными
5.
Приоритет валидных значений над невалидными
6.
Приоритет заполненного значения атрибута над пустым
7.
Приоритет показателя валидности над показателем актуальности
8.
Равенство валидных значений атрибутов и значений атрибутов исключений.
9.
В случае совпадения значений атрибутов или кортежей дата актуальности
устанавливается в результирующую запись наиболее актуальная.
31
MDM – в Банки
Отчеты по качеству данных
Статистика DQ
Потенциальные дубликаты
Валидность атрибутов,
кортежей атрибутов
32
Рекомендации по организации ЖЦ
справочников в MDM-решении
1. Планирование
изменений в
данных
2. Выполнение
изменений в
данных
Процедуры обработки ввода, редактирования и удаления данн
Фрагмент жизненного цикла
(ЖЦ) справочников
4. Устранение
найденных
ошибок в данных
3. Проверка
изменений в данных,
фиксация возможных
ошибок
Объекты для рекомендаций
Стили ведения справочников
Периоды доступности
Логика обеспечения
данных
…
в целостности
MDM-системе
Аудит данных,
данных
Процедуры
ведениеочис
жур
«Coexistence style» для справочников
«Transaction
с одной
style»идля
более
справочников,
мастер-системами
ведущихся в МDM системе
33
Процессы управления
мастер-данными «to be»
Пример. Справочник «Сотрудники», схема из проекта
Вертикальные дорожки - системы
Процессы управления данными справочника «Сотрудники»
Diasoft (штатн.сотрудники),
1С (факторинговая компания),
LN (внештатн.сотрудники)
Запрос на
изменение
имеющегося
элемента
Запрос на
создание
нового
элемента
MDM
Запрос на
удаление
имеющегося
элемента
Запрос на
изменение
элемента в
MDM
Запрос на
назначение
доступа
I
III
3
Модификация данных в мастер-системах
V
2
4
Добавле
н новый
элемент
Обяз.проверк
и при изм.
VII
Изменен
имеющи
йся
элемент
6
Online поиск
изменяемого
элемента в MDM
XII
15
Изменение
атрибутов,
которые ведутся
в MDM
XIII
VI
Транзакция
зафиксиров
ана
12
Измене
ний нет
21
XVI
61
36
Транзакция
переноса
отклонена
да
Загрузка новых
элементов online
Измене
ний нет
Стандартные
преобразован
ия
30
Новые
элементы
загружен
ы
нет
Новые
элементы
загружен
ы
63
Пр.обяз.прове
рки при вводе
31
Изменен
имеющи
йся
элемент
XX
43
44
41
Новые
элементы
загружен
ы
Новые
элементы
загружен
ы
45
42
61
46
Загрузка новых
элементов online
Загрузка новых
элементов online
Загрузка новых
элементов
Загрузка новых
элементов online
62
47
Новые
элементы
загружен
ы
Новые
элементы
загружен
ы
63
48
XVIII
да
35
28
XV
40
62
Кл.II
34
Изменен
имеющи
йся
элемент
XVII
Загрузка новых
элементов online
39
38
33
26
Изменение
адреса
электронной
почты
Изменен
имеющи
йся
элемент
XIV
нет
Изменение
атрибутов,
которые ведутся
в Life Service
24
VIII
32
Описание процессов управления
данными справочников содержит:
XIX
27
23
Изменен
имеющи
йся
элемент
Изменен
имеющи
йся
элемент
С.II
II
DWH, Filenet (АХР)
Запрос на
изменение
имеющегося
элемента
Изменение
атрибутов,
которые ведутся
в базе LN
(телеф.книга)
Поиск
требуемого
элемента
XXI
IV
Omni Tracker, Filenet
(Кред.процесс), CRM ДКБ,
CRM ДМСБ, Collaboration,
Front Факторинг
22
Создание
адреса
электронной
почты
14
11
Проверка на
уникальность
Загрузка новых элементов
Транзакция
отклонена
20
да
10
Удален
имеющи
йся
элемент
Life Service
Запрос на
изменение
имеющегося
элемента
Запрос на
изменение
доступа
25
7
Удаление
элемента в
системе
первичного
ввода
Filenet -> MDM -> Diasoft
Обновление измененных элементов
нет
5
Изменение
атрибутов,
которые ведутся
в системе
первичного
ввода
Создание нового
элемента в
системе
первичного
ввода
LN (телеф.книга)
13
29
Удаление элементов
Горизонтальные дорожки - операции
9
1
LN (адрес.книга)
37
X
Загрузка online
новых элементов
в MDM Систему.
Транзакция
зафиксирована.
Новые
элементы
загружены
XXII
XI
I. Создание новых элементов в Diasoft, в 1С и в Lotus Notes
(внештатн. сотрудники).
II. Перенос новых элементов из систем первичного ввода в MDM в
режиме online.
III. Изменение имеющихся элементов в системах первичного
ввода.
IV. Перенос обновлений для атрибутов имеющихся элементов из
систем первичного ввода в MDM систему в режиме online.
V. Удаление (пометка на удаление) имеющихся элементов в
системах первичного ввода.
VI. Удаление (пометка на удаление) имеющихся элементов в
MDM системе в режиме online.
VII. Изменение имеющихся элементов в MDM системе.
VIII. Перенос необходимых изменений в атрибутах для
имеющихся элементов в системы получатели в режиме
online.
IX. Удаление (пометка на удаление) имеющихся элементов в
системах-получателях в режиме online.
X. Перенос новых элементов из MDM системы в системы
получатели в режиме online.
XI. Перенос новых элементов в Diasoft, которые были
первоначально внесены в Filenet, в режиме online.
XII. Назначение доступа для вновь заведенной записи в LN
(адрес.книга).
XIII. Изменение доступа для имеющейся записи в MDM системе.
XIV. Перенос назначений доступа в базу LN «Телеф.книга» в
режиме online.
XV. Перенос измененных значений доступа в базу LN
«Телеф.книга» в режиме online.
XVI. Изменение имеющихся элементов в базе LN (телеф.книга).
XVII. Перенос изменений из LN (телеф.книга) в MDM в режиме
online.
XVIII. Перенос изменений из MDM в Life Service в режиме online.
XIX. Изменение элемента в системе Life Service.
XX. Перенос изменений из Life Service в MDM в режиме online.
XXI. Перенос изменений из LN (адрес.книга) в MDM в режиме
online.
XXIV, Удаление (пометка на удаление) имеющихся элементов в
системах-получателях в регламентном (ночном) режиме
XXV. Перенос необходимых изменений в атрибутах для
имеющихся элементов в системы получатели в режиме
online.
Кл.II. Создание нового клиента на основаниив случае заведения
нового сотрудника в системе Диасофт
Online поиск
изменяемого
элемента в MDM
Обновление
элемента online
21
49
26
23
20
Транзакция
зафиксиров
ана
да
50
27
24
Обяз.проверк
и при изм.
Изменен
имеющи
йся
элемент
51
нет
22
52
25
Online поиск
изменяемых
элементов
Изменение
адреса
электронной
почты
Измененны
е элементы
обновлены
53
64
Поиск
изменяемых
элементов online
Обновление
элементов
Обновление
элементов online
55
Поиск
изменяемых
элементов
65
54
Измененны
е элементы
обновлены
66
Измененны
е элементы
обновлены
схему каждого процесса;
событие, инициирующее
каждый процесс;
системы, которые затрагивает
процесс;
взаимосвязи процессов
(предшествующие,
последующие);
пояснения шагов процесса
(шаги приведены на схеме).
67
56
XXV
Транзакция
отклонена
Измене
ний нет
XXIII
32
35
Online поиск
удаляемого
элемента в MDM
57
38
68
Поиск удаляемых
элементов online
Транзакция
зафиксиров
ана
Удаление
элемента online
58
Поиск удаляемых
элементов
69
да
Удаление
элементов online
33
Удаление
элементов
39
36
Обяз.проверк
и при уд.
Имеющий
ся
элемент
удален
59
70
Необходимы
е элементы
удалены
Необходимы
е элементы
удалены
нет
34
IX
37
Измене
ний нет
60
71
Транзакция
отклонена
XXIV
34
Архитектура приложений, включая
интеграцию MDM-системы
В рамках проекта описаны:
информационные системы и интерфейсы между ними;
данные, передаваемые между системами;
характеристики интерфейсов, режимы передачи данных (on-line
или регламент), временные окна взаимодействия.
Обмен данными между
системами происходит через
единую шину данных (ESB).
35
Интеграция с системами Заказчика
•
Проведение тестовых операций полного цикла (ввод в
источнике, получение в МДМ, чистка, дедубликация, возврат в систему источник,
распространение по системам получателям)
•
Проведение бизнес тестов, нагрузочных тестов
•
Реализация на стороне систем источников инкрементной и потоковой догрузки и получения
данных после чистки.
•
Реализация на стороне систем получателей интерфейсов получения данных
•
Организация службы НСИ на стороне Заказчика, проведение обучения.
•
Тестирование обработки данных, тестирование интеграционных взаимодействий
36
Задачи «Подразделения MDM»
Операционная деятельность при ведении
справочников
Взаимодействие
подразделений
Технологическая поддержка процессов MDM
Развитие процессов MDM и MDM-системы, управление
изменениями
Для «Подразделения МДМ» в рамках проекта
подготовлена документация
Рекомендации по управлению MDM-решением;
Описание взаимодействия подразделений Группы и
подразделения, управляющего MDM;
Должностная инструкция технолога (руководителя) группы
поддержки процессов MDM;
Ориентировочный бюджет технологического подразделения,
отвечающего за ведение и развитие процессов MDM в Группе.
37
•
«Чистовая» загрузка данных из систем источников и систем
получателей,
•
Догрузка «дельты» после окончания загрузки пакетов данных и
чистки,
•
Определение объема ручной обработки данных,
•
Оптимизация ручного труда средствами частичной
автоматизации,
•
Изучение вопроса возможности подключения внешних
источников валидации и обогащения данных.
Фаза 3. Этап 6 – опытная эксплуатация
Загрузка и чистка данных
38
Промышленная эксплуатация
•
Полная загрузка данных из всех систем;
•
Массовая чистка с применением полностью настроенных алгоритмов
чистки и ведением истории изменений;
•
Запуск получения данных от систем источников в промышленную
эксплуатацию;
•
Запуск тиражирования данных в системы получатели;
•
Проведение ручных чисток данных силами службы НСИ;
•
Контрольные испытания перед тиражированием.
39
Исполнение проекта
40
MDM – в Банки
Продукт ОТР
В 2013 году Компанией ОТР в ходе проекта внедрения MDM
решения в Финансовой группе Life выполнена локализация
функциональности и интеграция продуктов ORACLE c целью создания
универсального MDM решения для кредитных и финансовых организаций.
Решение содержит в себе продукты, задействованные в едином
технологическом процессе обработки данных:



Oracle Customer Hub (OCH) - универсальная платформа управления
мастер данными, реализующая фоновые автоматизированные процессы
обработки данных и работу пользователей;
Oracle Enterprise Data Quality (EDQ) - система, реализующая процессы
стандартизации, валидации, восстановления и дедубликации данных;
Oracle Policy Automation (OPA) - реализация сложных правил выживания
данных.
=> Выбор продуктов одного вендора позволит бесшовно интегрировать
их с другими продуктами + использование СУБД Oracle
41
Модульный состав
Название компонента
Тип
Назначение
Siebel Applications
Группа компонентов
Реализация прикладной функциональности OCH
Siebel Web Server Extensions
Программная библиотека под
управлением web-сервера MS IIS
или Oracle HTTP Server
Генерация пользовательских интерфейсов OCH,
публикация стандартных web-сервисов OCH
Siebel Gateway Server
Программная библиотека
Программный комплекс, обеспечивающий взаимодействие
серверов OCH (хранение информации о запущенных
компонентах Siebel Application Server)
Siebel Application Server
Программная библиотека
Комплекс обеспечивающий работу пользовательских,
системных и вспомогательных сервисов
Siebel Repository (SRF)
Файловая база данных
Хранилище определений метаданных в OCH на файловой
системе
Siebel Management Agent
Программная библиотека
Процесс, отвечающий за выполнение задач, полученных от
Siebel Management Server
Siebel DB
База данных
БД, хранящая данные OCH, под управлением СУБД Oracle
EDQ Applications
Группа компонентов
Реализация прикладной функциональности Oracle EDQ
Oracle EDQ
Программная библиотека
Сервисы обеспечения качества данных под управлением
сервера приложений Oracle WebLogic
EDQ DB
База данных
БД, хранящая данные EDQ, под управлением СУБД Oracle
Web services
Программная библиотека
Реализация web-сервисов на стороне MDM-системы в
согласованном с Банком формате
Load Balancer
Инфраструктурный сервис
ESB
Active Directory LDAP
Система Банка
Инфраструктурный сервис
Балансировщик нагрузки на web-серверы, поддерживающий
балансировку HTTP-запросов (рекомендуется аппаратная
реализация)
Интеграционная шина
Служба каталогов MS Active Directory
Siebel Management Server (ADM)
Программная библиотека
Сервис управления Siebel Application Server
Siebel Tools
Программная библиотека
Инструментарий разработки Siebel
Enterprise Manager Grid Control
Программная библиотека
Инструментарий управления, содержащий модули управления
СУБД Oracle и Siebel Application Server
42
MDM – в Банки
Реализованные процессы
обеспечения качества данных
Сервисы EDQ
Clean
Кластеризация записи кандидата по заданным критериям и поиск дубликатов
в кластерах мастер записей.
Survivalship
Engine OCH,
Сервисы OPA
Стандартизация данных (приведение данных к единым правилам представления)
Валидация и восстановление данных (по справочникам и/или алгоритмически) ,
в т.ч. с использованием алгоритмов нечеткой логики Около 50 т.н. «опорных» справочников,
Сервисы EDQ
Cluster и Match
При поступлении данных в MDM решение
последовательно выполняются процедуры Data Quality,
унифицированные для пакетной загрузки данных и on-line
транзакций:
в т.ч. справочников от регуляторов
Объединение (merge) записи - кандидата и мастер записи с учетом выживания
отдельных атрибутов или кортежей атрибутов из записей по критериям:

Валидность атрибута (для атрибута, кортежа)

Приоритет системы - источника данных (для атрибута, кортежа)

Дата /время внесения изменения (для записи)
43
MDM – в Банки
Настройка
процессов Data
Quality открыта
пользователям EDQ
Простое внесение изменений
в процессы Data Quality
MDM - в Банки
Реализованные группы
мастер данных
Справочники, отражающие структуру Банка
•
Штатная структура
•
Бюджетная структура
•
Офисы
•
Территории
•
Сотрудники
Клиенты
•
Клиенты ФЛ, ЮЛ и ИП
•
Группы взаимосвязанных клиентов
Модель данных содержит общие структуры
данных для всех справочников, избыточные
для каждого справочника в отдельности, что
позволяет создавать новые справочники и
подключать новые мастер системы путем
настроек
Оперативные Банковские справочники
•
Продукты
•
Курсы валют
•
Контрагенты
•
Вспомогательные
45
MDM - в Банки
Реализованная карточка клиента
Кол-во бизнес
атрибутов
Кол-во атрибутов
валидности
Кол-во атрибутов
актуальности
Основная сущность физ лица
14
28
1
Документы физ лица
14
28
1
Адрес
32
64
1
Контакты телефоны
3
6
1
Контакты коммуникационные
адреса
4
8
1
Место работы
1
2
1
Ответственные лица
47
94
1
Офис клиента
5
10
1
Флаги клиента
15
30
1
Итого
135
270
9
Кол-во бизнес атрибутов
Кол-во атрибутов
валидности
Кол-во атрибутов
актуальности
7
14
1
9
18
1
Адрес
32
64
1
Контакты телефоны
Контакты
коммуникационные
адреса
Ответственные лица
3
6
1
4
8
1
47
94
1
Офис клиента
5
10
1
Сущность
Сущность
Наименование
организации
Документы организации
Флаги клиента
15
30
1
Итого
122
244
8
Физические лица
Юридические лица
46
MDM - в Банки
Бизнес атрибут
Реализованная карточка клиента
– значащий атрибут бизнес данных используемых в системах для
проведения операций.
Пример:
Бизнес атрибуты
документа физ лица
•
Статус документа
•
Серия документа
•
Тип документа
•
Номер документа
•
Фамилия
•
Дата выдачи документа
•
Имя
•
Планируемое окончание срока действия
•
Отчество
•
Кем выдан документ
•
Пол
•
Код подразделения, выдавшего документ
•
Дата рождения
•
Место рождения
Атрибуты валидности
– показатели качества данных содержащихся в бизнес атрибуте.
По 2 на один бизнес атрибут по длине и по наполнению.
Пример:
Бизнес атрибут – Фамилия.
Значение атрибута – Смирнов.
Атрибут валидности по длине атрибута фамилия – Надежная (не пустое + выполняются условия МиниМакс)
Атрибут валидности по наполнению атрибута фамилия – Гарантированная (допустимые символы, наличие в
справочнике корректных фамилий и др)
Возможные значения атрибута валидности:
Атрибут актуальности
•
Критическая
•
Рискованная
•
Надежная
•
Гарантированная
– значение «Дата + время» показывающее когда последний раз
данная сущность была изменена. Позволяет избежать
обновления более старыми данными при схеме «много
источников обновления»
47
MDM – в Банки
Интерфейсы
Для всех справочников реализованы интерфейсы ведения данных с
разграничением полномочий доступа по ролям (бизнес пользователь, владелец
справочника, datasteward). При внедрении MDM может быть принято решение вести
справочник в MDM системе, отказавшись от существующих мастер-систем.
Некорректные данные,
фигурирующие в отчетах
Data Quality для ручного
разбора могут быть
исправлены
пользователем с
соответствующими
полномочиями,
объединены
потенциальные
дубликаты
Изменение данных пользователем инициирует
процессы Data Quality
48
MDM – в Банки
Интерфейсы
Визуализация
исторической
информации по
элементам
справочников в
разрезе
транзакций из
систем источников
и идентфикаторов
элемента в
системах
49
MDM – в Банки
Легкая интеграция
Реализовано

Web сервисы на платформе Weblogic, реализующие бизнес API для передачи
данных типовых справочников в MDM систему и запросов данных из MDM системы,
инкапсулирующие сложный «технологический» API OCH, а также отслеживающие
логическую целостность при интеграционных взаимодействиях (FIFO и др.). При
этом сохраняется возможность использовать непосредственно сервисы OCH

Механизм преобразования значений элементов опорных справочников в разрезе
систем при входящих и исходящих интеграционных взаимодействиях (настраивается
в OCH) .

Механизм on-line и периодической публикации измененных данных в системы
получатели в соответствии с настроенным регламентом (настраивается в OCH).

Механизм публикации данных в отдельные системы получатели в зависимости от
значений параметров бизнес объектов (настраивается в OCH).
В результате реализуется вся логика интеграции и шина данных используется
только как транспорт => уменьшение scope задач интеграции, стоимости и
сроков внедрения
50
Основные решения реализованы
в ходе масштабного проекта
в внедрения
MDM
решения
Стратегические
цели
внедрения:
в Финансовой Группе Life
Снижение операционных рисков (использование неверной информации
при совершении операций);
Снижение издержек на поддержание актуальных мастер - данных;
Получение непротиворечивой отчетности, снижение
подготовку управленческой и аналитической отчетности;
издержек
на
Развитие анализа данных оперативных справочников на платформе
MDM - решения в целях маркетинга в связи с наличием на одной
платформе связанных справочников клиентов и продуктов;
Снижение кредитных рисков;
Упрощение процессов модернизации ИС (замена компонентов),
включения новых бизнес структур в состав Группы при наличии единого
центра консолидации дистрибуции мастер – данных.
51
Модульная архитектура
Тонкий клиент
Internet Explorer
Вызов WebСервисов MDM
WebServices Proxy
WS
Load
Balancer
WS
Load
Balancer
WebLogic AS
WebLogic AS
Domain
Domain
Web Services
Источники
и
Источники
Источники и
и
получатели
получатели
получатели
данных
данных
данных
Active
Directory
LDAP
ESB
ESB
Вызов WebСервисов ESB
Siebel Applications
Web
WebServer
Server
Siebel
SiebelWeb
WebServer
Server
Extensions
Extensions
EDQ Applications
WebLogic AS
Domain
Siebel Gateway Server
Name Server
Siebel
SiebelApplication
ApplicationServer
Server
Siebel
SiebelRepository
Repository
(SRF)
(SRF)
Oracle EDQ
Siebel DB
EDQ DB
Management tools
Siebel
Management
Server (ADM)
Siebel
Siebel
Management
Management
Agent
Agent
EDQ
EDQDB
DB
Siebel DB
Siebel DB
Siebel
Tools
Enterprise
Manager Grid
Control
52
MDM – в Банки
Бонус
Документация* – решение полностью
документировано


Сервер Безопасности**
В рамках проекта ФК был реализован
отдельный сервер безопасности –
сертифицирован ФСБ и ФСТЭК;
* Сотрудники Заказчика должны быть обучены продуктам Oracle
** Отдельная позиция решения
53
Контактная информация
Адрес:
127474, Россия, г. Москва,
Дмитровское шоссе, 60А
ФИО:
Газизов Алексей Асхатович
Тел:
+7 (495) 223-07-99 (многоканальный)
Сайт:
E-mail:
54