Ivan Kosyakov — Reference Architectures and Appliances

FastTrack Data Warehouse
Особая благодарность
Алексею Халяко из SQLCAT
Иван Косяков
Technology Architect, MTC Moscow
[email protected]
Реляционные хранилища на SQL Server сегодня
Тысячи реализаций > 1 TB
Множество реализаций > 5 TB
Разные подходы
Связь с SQL Sever BI продуктами
Импульс - сильный поток нововведений
(Resource Governor, Compression, Star Query, …)
 Следующий революционный шаг –
Parallel Data Warehouse (PDW)





Некоторые SQL хранилища сегодня
Большой SAN;
Самый большой
64-ядерный сервер!
Что не так на
этой картинке?
Не сбалансированная система
 Сервер может потреблять 16 Гбайт/c
операций ввода-вывода,
SAN может «выдать» только 2 Гбайт/с
(даже если SAN выделен только под SQL
Data Warehouse, что обычно не так)
 Множество дисков для Random IOPS, но
ограниченное количество контролеров 
ограниченная пропускная способность
ввода-вывода
 Система «привязана» к оборудованию
ввода-вывода; запросы выполняются
медленно (и это при существенных
инвестициях в сервер и хранилище)
DW
База данных



Фокус на аналитических операциях:
стратегия
Оптимизирована для массивных вставок
данных, сложные и тяжело предсказуемые
запросы
Несколько одновременных пользователей
Система хранения



OLTP
против
Фокус на операциях чтения
Оптимизация для scan операций, а не seek
Оптимизация хранилища с фокусом на
disk scan rate (MB/s)
База данных



Разработана для операционных задач:
тактика
Оптимизация для транзакций: вызов
“одной строки”
Тысячи одновременных пользователей
Система хранения



Фокус на скорости выполнения транзакций
Оптимизация для seek, а не scan операций
Хранилище оптимизированно для
I/O операций (IOPs)
Новый путь: быстрые оптимизированные решения
Широкая
применимость
Определенная нагрузка
Сбалансированы
Сконфигурированы
Поддерживаются
сообществом
экспертов
Интегрированное управление
The Appliance Engineering Approach
Каждое решение учитывает четыре элемента
Нагрузка
Архитектура
Программное
обеспечение
Аппаратное
обеспечение
 Основано на полном понимании нагрузки
 Все компоненты следуют архитектуре
Диапазон потребностей
Хранилище
подразделения
Хранилище
предприятия
Дополнительная
витрина
Решения для хранилищ данных
Построенные
самостоятельно
Усилия на
построение
Business DW
Appliance
DL370
DL380/5
DL580/5
DL980/5
Enterprise DW
Appliance (PDW)
Очень высокие
Очень малые
Средние
Средние
Средние
Средние
Очень малые
Вместимость
Различная
5 TB
14 TB
20 TB
40 TB
40 TB
500 TB
Параллелизм
Различный
Легкий
Легкий
Средний
Средний
Высокий
Очень
высокий
Сложность запросов
Различная
Средняя
Средняя
Средняя
Средняя
Высокая
Очень высокая
Архитектура
SMP
SMP
SMP
SMP
SMP
SMP
MPP
Тип решения
-
Программноаппаратный
комплекс
Ссылочная
архитектура
Ссылочная
архитектура
Ссылочная
архитектура
Ссылочная
архитектура
Программноаппаратный
комплекс
SQL Server
Windows Server OS
Storage Interconnect
Архитектура компонентов FastTrack DW
Storage
Processor
Disk Array
Host Storage Adaptor
Server
Storage Enclosure
Сбалансированная система – ввод-вывод
Максимальная теоретическая пропускная способность IO стека
оптимизированного для 8 ядерной Fast Track архитектуры
(предполагая 200 MB/s на ядро)
CPU Socket
(4 Core)
CPU Socket
(4 Core)