Использование виртуализации для улучшения качества ИТ- сервисов Сергей Тонкоглаз

Использование виртуализации
для улучшения качества ИТ-
сервисов
Сергей Тонкоглаз
менеджер проектов
компании КРОК
IBM SAN Volume Controller
Проблемы роста данных и использования ресурсов
Рост данных: быстрее и дороже, чем раньше
• Больше невозможно просто добавлять диски – необходимо
снижать стоимость хранения
• Рост вызван развитием электронной коммерции, постоянным
увеличением объема электронной почты, использованием
данных мультимедиа
• Необходимо управлять большим количеством данных с тем
же самым штатом
Недостаточное использование
ИТ-ресурсов
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
85
Servers
Storage
Staff
Network
Ограничения дисковых систем
Дисковые массивы SAN:
50%
• Индивидуальное управление
HP
Intelligent
Storage Ctlr
Intelligent
Storage Ctlr
• Ограниченная емкость
RAID Ctlr
RAID Ctlr
JBODs
• Различные функциональные
возможности
• Отсутствие возможности динамической
миграции данных
JBODs
IBM
Intelligent
Storage Ctlr
• Функционал копирования между
оборудованием одного производителя и
класса
90%
Intelligent
Storage Ctlr
RAID Ctlr
RAID Ctlr
JBODs
JBODs
IBM
Offline
Проблемы
гетерогенных
сред
Intelligent
Storage Ctlr
RAID Ctlr
EMC
Intelligent
Storage Ctlr
JBODs
Intelligent
Storage Ctlr
RAID Ctlr
RAID Ctlr
JBODs
JBODs
Ограничения дисковых систем
Out
of
HDLM
Driver
Space
Out
of
HDLM
Driver
Space
EMC Drivers
EMC Drivers
RDAC Drivers
FC Switch
Management
Application
Flashcopy ?
Out
of
Space
HDS
Free
capacity
Зеркалирование?
EMC
DS4300
010101010101010101
Миграция
010010101101001000
HDS Specialist
EMC Mgmt. Application
DS4000 Storage Manager
Упрощение инфраструктуры
Windows Servers
Windows Server
Unix Servers
Networking
Networking
Unix Server
Management
Servers
Storage
Virtual Servers,
Storage,
Networks
Виртуализация
Servers
NetworkingStorage
Linux Server
Linux Servers
Типичная
Физическая
консолидация
Логическое
упрощение
Виртуализация
Сети SAN сегодня
Виртуализация
Storage
Network
SAN
Virtualization Layer
Серверы привязаны к
определенным физическим дискам,
Серверы привязаны к
виртуальным дискам
Виртуализация в SAN на блоковом уровне
SVC Drivers
SVC Drivers
SVC Drivers
IBM SAN VOLUME CONTROLLER
IO-Group
IO-Group
IO-Group
IO-Group
Node Node
Node Node
Node Node
Node Node
ESS
CPQ
LCRB
Аппаратное обеспечение SVC
IBM TotalStorage
«Железо» SAN Volume Controller 8F4
•
•
•
•
Кластеризация до 8 узлов
Узлы на основе System X x336
2 процессора 3 Ггц Pentium
8 ГБ кэш памяти / 4 FC портов на узел
Схема виртуализации
«Изолирует» хосты от
изменений физических
систем хранения данных
VD-1
VD-2
VD-3
VD-4
VD-5
VD-6
VD-7
VD-8
Серверы приложений
VD-9
VD-10
Storage Engine
Virtual Disks
Контроллер связывает
виртуальные диски и
физические диски
Managed
MD 8
MD 5
LUN 5
LUN 8
MD 4
LUN 4
MD 7
MD 3
LUN 3
Managed Disks
LUN 7
MD 2
LUN 2
RAID
Controller 1
MD 6
MD 1
High
Performance
LUN 1
Хосты привязаны к
томам LUNs, которые
на самом деле
являются
виртуальными
дисками SVC
LUN 6
Disk Groups
SCSI LUNs
Low Cost
RAID
Controller 2
RAID массивы
Диски
Физические диски
объединяются в группы
в соответствии с типом
системы хранения
данных
Out
of
SVC Drivers
SVC Space
Drivers
SVC Drivers
IBM SAN VOLUME CONTROLLER
IO-Group
Node
ESS
Node
Free
capacity
IO-Group
Node
Node
IO-Group
Node
Node
IO-Group
Node
Node
Out
of
Space
CPQ
LCRB
010101010101010101
Data Migration
010010101101001000
Поддерживаемое окружение SAN Volume Controller
Version 4.2
Linux
Novell
NetWare
Clustering
Microsoft
IBM AIX
HACMP
MSCS
VMware
Win / NW MPIO, VSS, GDS 5.4/XD
x64, ia64 GPFS / VIO
guests
OracleRAC
10g
IBM N series
Gateway
IBM
NetApp
V-Series BladeCenter
(Intel/Power/zLinux)
RHEL/SUSE
HP-UX, Tru64
RHEL 5 ia32, x64
VCS/SUN
SGI
IRIX
OpenVMS
RHEL 3 Power
clustering
ServiceGuard with SDD
SLES 9 ia64
Sun
Solaris
Win/Linux/VMWare/AIX
OPM/FCS/IBS
1024
Hosts
Cisco
McData
Brocade
iSCSI to hosts
Via Cisco IPS
SAN with 4Gbps fabric
SAN
Continuous Copy
Metro Mirror
Global Mirror
SAN
Volume Controller
IBM
ESS,
FAStT
IBM
IBM
DS N series
DS4000
DS6000
DS8000
SAN
Volume Controller
HP
Hitachi
EMC
Sun
NetApp
NEC
Bull
Fujitsu
MA, EMA CLARiiON StorageTek
Lightning
FAS
iStorage StoreWay Eternus
MSA, EVA CX3 Models 10, 80 6120, 6130,
Thunder
S1500, S2500, S2900
3000, 4000, 8000
XP
TagmaStore
6140,
6540,
6930
Symmetrix
FDA1500, FDA2500, FDA2900
AMS, WMS MSA1000, 1500
IBM San
Volume
Controller
SVC Drivers
SVC Drivers
SVC Drivers
IBM SAN VOLUME CONTROLLER
IO-Group
Node
ESS
Management Platform
Node
IO-Group
Node
Node
IO-Group
Node
CPQ
Node
IO-Group
Node
Node
LCRB
EMC Recover Point
Виды репликации
• На уровне приложения,
базы данных
• На уровне ОС, менеджера
томов
• На уровне системы
хранения
• Локальная полная, клоны
• Локальная мгновенная,
моментальные снимки
• Удаленная синхронная
• Удаленная асинхронная
Факторы, учитываемые при репликации данных
Время ответа
приложения
Обеспечение RPO, RTO
Основной ЦОД
Oracle Exchange
SQL
Резервный ЦОД
Восстановление,
прозрачное для
приложений
Oracle
Exchange
SQL
Защита от
повреждений
SAN
SAN
SAN
Существующая
инфраструктура
IBM
STK
HDS
Тестирование
аварийного
восстановления
Затраты на
каналы
IBM
HP
STK
HDS
EMC
HP
EMC
Разнородное
хранилище
Что такое RecoverPoint?
• Гетерогенная репликация данных
• Восстановление данных
на любой момент времени
Точки восстановления, RPO
Резервное копирование: точка восстановления каждые 24 часа
RECOVERY GAP
Snapshot: точка восстановления каждые 3 часа
GAP
GAP
GAP
GAP
GAP
GAP
GAP
GAP
Репликация на основе массива: доступна только последняя реплика
RECOVERY GAP
EMC RecoverPoint CDP/Replication
EMC RecoverPoint CDP: Неограниченное количество точек восстановления
RBA/SCN
Patch
LSN
Pre-Patch
Quiesce
Post-Patch
Время
Quarterly Close
Hot Backup
Checkpoint
RecoverPoint компоненты и топология
• Определения
Программное
обеспечение
RecoverPoint
– RecoverPoint appliance - контроллер RecoverPoint,
предназначенный для защиты данных
– RecoverPoint appliance cluster - два или более
RecoverPoint appliances
• RecoverPoint appliance основан
на стандартном сервере Dell
– Дублированное питание и охлаждение
– 8 Fibre Channel портов
– Два 1 Gigabit Ethernet портов
• RecoverPoint кластер
– RecoverPoint поддерживает failover между узлами
• Взаимодействия
– Узлы используют LAN
– Репликация данных по WAN: Используется TCP
• RecoverPoint кластер поддерживает до 8 узлов
– Возможность добавления узлов к существующей
конфигурации
• Новые узлы распознаются автоматически
• Добавление узлов повышает производительность
Layer 2
Fibre Channel
SAN
EMC IBM
HDS STK
WAN
HP
Удаленная репликация на основе сети передачи данных






SAN
SAN



SAN
WAN


Драйверы-сплиттеры RecoverPoint
– Перехватывают операции записи (на блочном уровне) и
копируют на сервер RecoverPoint
– Копирование операции записи может быть сделано как на
сервере приложений, так и на коммутаторе сети хранения

Сервер RecoverPoint
– Вносит информацию об операциях записи в журнал
– Компрессирует данные для передачи через WAN
– Передает данные на удаленный резервный центр
– Записывает переданные данные на копию резервируемого тома
(диска)
– При необходимости управляет восстановлением
– Обеспечивает доступ к скопированным данным




Журнал
– Отслеживает все изменения на защищаемых томах (дисках)
– Позволяет восстановить данные моментально и на любой момент времени с
гранулярностью в пределах минуты
– Позволяет использовать пользовательские метки для маркирования временных
срезов данных
– Может самостоятельно маркировать срезы некоторых приложений, например,
Oracle (RBA, SCN), MS SQL (используется VDI для гарантии восстановления)
– Использует компрессию для экономии дискового пространства

Сеть передачи данных (Глобальная Вычислительная Сеть, TCP/IP)
– Данные сжимаются сервером RecoverPoint в 3-15 раз
– Конвертирование FC в IP - отсутствие необходимости в дорогостоящих
конвертерах FC/IP – сервер RecoverPoint сам является таким конвертером

Системы хранения данных
– Поддерживается репликация с любых систем хранения на любые системы
хранения
RecoverPoint – процесс удаленной защиты (CRR)
1. Операции записи раздваиваются
(одним из 2х методов) и посылаются
на сервер RecoverPoint
2a. Драйверсплиттер на
сервере
6. Данные
записываются
в журнал
3.RecoverPoint
2b. Cisco,
Brocade
A’
A
B
C
B’
C’
Резервный
ВЦ
Журнал
Основной ВЦ
5. Сервер RecoverPoint:
4. Сервер RecoverPoint:
• Конвертирует FC-IP
• Компрессирует данные
• Отправляет данные в
резервный ВЦ
• Получает данные
• Декомпрессирует данные
• Проверяются
контрольные суммы и
правильность
последовательности
передачи
7. Данные
записываются на
удаленные копии
реплицируемых томов
RecoverPoint – процесс локальной защиты данных
1. Операции записи раздваиваются
(CDP)
(одним из двух методов) и
посылаются на сервер RecoverPoint
2a. Драйвер-сплиттер
на сервере
3. Операции записи
подтверждаются
сервером RecoverPoint
4. Данные
записываются
в журнал
2b. Cisco,
Brocade
A’
A
B
B’
C’
C
Журнал
5. Данные
записываются на копии
реплицируемых томов
Журналирование
Журналирование включает данные плюс метаданные
• Время/дата
• Объем данных
• «Закладки»:
– Созданные системой
– Созданные пользователем
• Работа с приложениями
– Oracle: Использование событий базы
данных
• Relative Block Address (RBA)
• System Change Number (SCN)
– Microsoft SQL Server
• Microsoft Virtual Device Interface
(VDI)
– Microsoft Exchange
• Microsoft Volume Shadow Copy
Service (VSS)
RecoverPoint – процесс восстановления

Запрос на
восстановление
 Запрос образа диска через интерфейс
управления 

– Пользователь выбирает по метке или времени
Резервные сервера
 Восстановление с помощью RecoverPoint
образа диска в режиме записи
Сервер RP
SAN
v

Журнал

Target volumes

– Пользователь выбирает виртуальный  или
физический образ 
– Журнал  используется для восстановления
данных на нужный момент времени
– Образ диска монтируется на сервере 
 Все новые операции записи сохраняются в
журнале 
– Копия данных не изменяется
– По запросу можно записать изменения в
основную копию
 Используется для:
– Восстановления работы приложений
– Запуска новых приложений из образа
– Восстановления данных из образа
– Резервного копирования
– Анализа данных
– Разработки и тестирования решений по
аварийному восстановлению
RecoverPoint
Управление
JAVA GUI (JVM V1.4.3+)
CLI
Поддерживаемые ОС
AIX, Solaris, Windows, and VMware при использовании host
splitter
AIX, Linux, Solaris, Windows, and VMware при использовании
fabric splitter
Поддержка приложений и
баз данных
Oracle
Microsoft Exchange Server (VSS),
Microsoft SQL Server (VDI)
Коммутаторы,
поддерживающие fabric
splitter
Cisco MDS-9000
Connectrix AP-7420B
Cистемы хранения
EMC CLARiiON and Symmetrix
IBM DS4000, DS6800
SUN StorEdge
HDS TagmaStore
HPQ StorageWorks EVA5000
25
EMC RecoverPoint: основные особенности
• Нет зависимости от аппаратного обеспечения
• Восстановление на любой момент времени
• Мгновенное восстановление
• Интеграция с приложениями
• Оптимальное использование каналов передачи
Для чего использовать
• CDP – постоянная защита данных – RPO, RTO
• CRR – репликация по узким каналам, DR решения
– RPO, RTO
• Консистентность между серверами и системами
хранения
• Гетерогенное решение – не только между разными
производителями, но и между массивами одного
производителя, но разного класса
• Консолидированное решение для нескольких
приложений
Виды репликации: EMC RecoverPoint
• На уровне приложения, БД
• На уровне ОС, менеджера томов
• На уровне системы хранения
• На уровне сети хранения
•
•
•
•
Локальная полная, клоны
Локальная мгновенная, моментальные снимки
Удаленная синхронная
Удаленная асинхронная
Спасибо за внимание!
Сергей Тонкоглаз
менеджер проектов
компании КРОК
Тел.: (495) 974-2274
E-mail: stonkoglaz@croc.ru