Лекция

Архитектуры систем
хранения данных
АЛЕКСАНДР ДЮМИН
Почему мы говорим о системах
хранения и управления данными?
Организации зависят от непрерывного и надежного доступа к информации
Организации стремятся эффективно хранить, защищать, обрабатывать и
использовать информацию, а также управлять ею
Все больше организаций внедряют интеллектуальные решения для хранения
данных, которые позволяют:
◦ обеспечить эффективное хранение и администрирование информации;
◦ получить конкурентное преимущество;
◦ открыть новые возможности для бизнеса.
Цифровые данные и информация
Цифровые данные - набор фактов, которые передаются и хранятся в электронной форме и
обрабатываются с помощью программного обеспечения.
Информация - обработанные данные, которые предоставляются в определенном
контексте для практической интерпретации и могут использоваться для принятия
решений.
Классификация цифровых данных
Структурированные
Частично структурированные
Квазиструктурированные
Неструктурированные
ЦОД
Площадка, на которой установлено ИТ-оборудование, включая вычислительные
ресурсы, СХД и сетевые компоненты, а также вспомогательные компоненты ИТинфраструктуры, обеспечивающая возможность централизованной обработки
данных.
Площадка (Site)
ИТ-оборудование (Equipment)
Окружение (Support facility)
Основные задачи
Обеспечение доступности
Обеспечение безопасности
Обеспечение емкости
Обеспечение масштабируемости
Обеспечение производительности
Обеспечение целостности
Обеспечение управляемости
Современные тренды в
платформенных решениях
Платформа - оборудование и программное обеспечение, связанное с определенной
вычислительной архитектурой, развернутой в центре обработки данных.
Облачные платформы
«Большие» данные
Использование мобильных устройств
Интеграция сервисов с социальными сетями
Облачные технологии
Модель, которая по требованию обеспечивает удобный повсеместный сетевой
доступ к общему пулу настраиваемых вычислительных ресурсов (например,
серверов, СХД, сетей, приложений и сервисов), которые можно быстро выделять и
освобождать с минимальными трудозатратами на управление или минимальным
взаимодействием с поставщиком услуг.
Какая инфраструктура может считаться
облачной?
Критерии:
Самообслуживаемость по требованию
Широкополосный доступ
Объединение ресурсов в пулы
Оперативность и гибкость
Измеряемые показатели обслуживания
Модели облачных услуг (? as a service)
SaaS
PaaS
IaaS
-----XaaS
Специальные типы услуг DRaaS, BaaS, и т.д.
IaaS
Пользователь может выделять процессорные ресурсы, системы хранения данных,
сети и другие базовые вычислительные ресурсы, на базе которых можно
развертывать и запускать произвольное программное обеспечение, например
операционные системы и приложения. Пользователь не управляет базовой
облачной инфраструктурой, однако может управлять операционными системами и
развернутыми приложениями. Кроме того, он может ограниченно влиять на
отдельные сетевые компоненты (например, брандмауэры на хостах).
PaaS
Пользователь может развертывать на базе облачной инфраструктуры собственные
или приобретенные приложения, созданные с использованием языков
программирования, библиотек, сервисов и инструментов, которые поддерживаются
поставщиком услуг. Пользователь не может управлять базовой облачной
инфраструктурой, включая сеть, серверы, операционные системы или системы
хранения данных, однако может управлять развернутыми приложениями и влиять
на настройки конфигурации для среды приложений.
SaaS
Пользователь может использовать приложения поставщика, которые работают на
базе облачной инфраструктуры. Приложения доступны с различных клиентских
устройств через интерфейс «тонкого» клиента, например веб-браузера
(электронная почта на основе веб-интерфейса), или через программный
интерфейс. Пользователь не может управлять базовой облачной инфраструктурой,
включая сеть, серверы, операционные системы, системы хранения данных или
даже отдельные функции приложений, однако может ограниченно влиять на
пользовательские настройки конфигурации приложений.
Модели развертывания облачных
сервисов
Публичное облако
Частное облако
Коммунальное облако (сообщество)
Гибридное облако
Архитектуры систем
хранения данных
АЛЕКСАНДР ДЮМИН
«Большие» данные
Информационные ресурсы, большие объемы, высокая скорость и разнообразие
которых обуславливают использование новой технической архитектуры и
аналитических методов для получения сведений и преимуществ для бизнеса.
Характеристики больших данных (6V)
Объем (Volume)
Скорость (Velocity)
Многообразие (Variety)
Изменчивость (Variability)
Достоверность (Veracity)
Ценность (Value)
+ Visualization, Vagueness, Viability, Vocabulary,…. (до 17 V)
Основные архитектурные подходы (1)
Хранилище данных (Data Warehouse) — это централизованное хранилище
интегрированных данных, собранных из множества различных источников. В нем
хранятся текущие и исторические данные в структурированном формате. Оно
предназначено для запросов и анализа с целью поддержки процесса принятия
решений в организации. Например, хранилище данных может содержать текущие и
исторические данные о продажах, используемые для создания отчетов о
тенденциях с целью сравнения показателей продаж.
Основные архитектурные подходы (2)
«Озеро данных» (Data Lake) — это набор структурированных и
неструктурированных данных, которые хранятся в виде точных или почти точных
копий данных исходных форматов. В архитектуре «озера данных» воплощен
подход к большим данным, при котором все типы данных хранятся в одном
расположении. В отличие от традиционных хранилищ данных, данные не
классифицируются, когда сохраняются в таком репозитории, поскольку их
значимость может быть изначально не определена. Кроме того, данные не
упорядочиваются по определенной схеме и хранятся с использованием объектной
архитектуры хранения. В результате устраняется необходимость в подготовке
данных, что делает «озера данных» менее структурированными, чем хранилища
данных. Данные классифицируются, упорядочиваются и анализируются только
после получения к ним доступа.
SMAQ-стек
Storage (СХД)
MapReduce (фреймворк параллельной обработки)
Query (ПО для формирования запросов к данных)
Немного о концепции MapReduce
Социальные сети + мобильный доступ
Без комментариев 
BYOD
Инфраструктура ЦОД (by Dell EMC)
ПРИЛОЖЕНИЯ
Внутренние
приложения
Бизнес-приложения
Приложения для
3-й платформы
Расширяемость
облачной среды
ОБЛАКО
ИНФРАСТРУКТУРА ЦЕНТРА ОБРАБОТКИ ДАННЫХ
УПРАВЛЕНИЕ
УСЛУГИ
Портал
самообслуживания
ОРКЕСТРАЦИЯ
Каталог услуг
НЕПРЕРЫВНОСТЬ
БИЗНЕСА
БЕЗОПАСНОСТЬ
ПО для оркестрации
ПРОГРАММНО-ОПРЕДЕЛЯЕМАЯ ИНФРАСТРУКТУРА
Программно-определяемые
вычислительные ресурсы
Программноопределяемая система
хранения
Программноопределяемая сеть
Механизмы
отказоустойчивости
Виртуальная сеть
Резервное
копирование и
архивирование
ВИРТУАЛЬНАЯ ИНФРАСТРУКТУРА
Виртуальные ресурсы
Виртуальное
хранилище
ФИЗИЧЕСКАЯ ИНФРАСТРУКТУРА (ЛУЧШАЯ В СВОЕМ КЛАССЕ / КОНВЕРГЕНТНАЯ)
Управление работой
системы хранения
Вычислительные
ресурсы
СХД
Сеть
Репликация
Механизмы
обеспечения
безопасности
Стратегическое
управление, снижение
рисков и обеспечение
соответствия требованиям
регуляторов
Логические компоненты
вычислительной системы
Операционная система
Виртуальная память
Диспетчер логических томов
Файловая система
Диспетчер логических томов (LVM)
Создает логическую систему хранения на уровне вычислительной системы и управляет ею
◦ Обеспечивает логическое представление физической системы хранения
◦ Устанавливает соответствие между логическими и физическими блоками данных
Физические тома формируют группу томов
◦ LVM управляет группами томов как единым целым
Логические тома создаются из группы томов
Системы хранения данных
Иерархия памяти современных вычислительных систем
Регистровая память процессора
Кэш-память (1-3(4) уровни)
Основная память долговременного хранения данных
Архивная память
Объем/время доступа
Оперативная память
Требования к современным системам хранения данных
Требования к надежности хранения данных
Требования к надежности доступа к данным
Требования к объему хранимых данных
Требования к скорости доступа к данным
Требования к защищенности доступа к данным
Требования к сложности управления и конфигурирования
Задачи системы хранения данных
Соединение (Connecting)– обеспечение передачи данных между вычислительными
системами и хранилищами
◦ шины (ATA, SCSI,..), точка-точка (FC-PP,..)
◦ коммутируемые среды Fibre Channel, Ethernet,..
Задачи системы хранения данных
Хранение (Storing)– низкоуровневое взаимодействие систем и устройств хранения при
помощи специальных команд и протоколов направленное на сохранение данных
◦ Модель взаимодействия: инициатор – цель
◦ Блочный ввод/вывод
◦ Понятие адресного пространства
Задачи системы хранения данных
Упорядочивание (Filing) – определение места объектов данных в хранилище и
предоставление данных приложениям и пользователям
◦ Выделение места под объекты хранения
◦ Файловый ввод/вывод
◦ Управление доступом на уровне объектов хранения
Многоуровневая архитектура систем долговременного
хранения данных
Уровень 0 – Performance
◦ Твердотельные накопители (Flash/DRAM/Hybrid)
Уровень 1 – Default
◦ SAS HDD (Fibre Channel HDD) / Flash SSD
Уровень 2 – Cost focused
◦ Serial ATA HDD
Уровень 3 – Capacity optimized
◦ Сжатые или дедуплицированные данные на SATA HDD / Кассетные накопители
Подходы к реализации систем хранения данных (20 лет
назад)
Система
хранения
данных
DAS
SAN
NAS
Подходы к реализации систем хранения данных
(современность)
Система
хранения
данных
С
использованием
сетевых
технологии
Непосредственно
подключаемые
системы (DAS)
С использование
FC SAN
IP-сетей
IP SAN
NAS
CAS
COS
Virtual
Appliance
Унифицированные
FCoE SAN
DAS - Direct Attached Storage
Самая первая технология хранения данных
Непосредственно подключенное (присоединенное) хранилище данных
◦ В простейшем случае – жесткий диск подключенный к контроллеру на материнской плате
Доступность данных зависит от работоспособности всех компонент
на пути от потребителя к хранилищу
Традиционная клиент-серверная архитектура вычислений
с DAS
Не отвечает современным требованиям для систем высокой надежности
Не отвечает современным требованиям по объему хранимых данных
Может применятся в серверных решениям начального уровня
Недостатки DAS-хранилищ
Ограничение на длину соединений
◦ Проблема надежного хранения данных
◦ Проблемы монтажа оборудования
Наивысшая стоимость обслуживания
Проблема с балансировкой ресурсов
Проблема масштабируемости
Применение DAS
В серверных системах начального уровня (SOHO)
◦ Единицы серверов
◦ Не требуется доступность системы в режиме 24/7
+ относительно невысокая стоимость
+ относительная простота управления и администрирования
+ простота создания архивных копий в случае одного сервера
SAN – Storage Area Network
Сети хранения данных
Строятся на базе специализированного оборудования и интерфейсов
Снимают проблемы DAS-хранилищ
SAN: Определение
Сеть, предназначенная в первую очередь для обмена данными между системами
хранения данных и вычислительными системами
Состоит из
◦ коммуникационной инфраструктуры
◦ управляющей инфраструктуры
Обеспечивает безопасную и надежную пересылку данных
Архитектуры систем
хранения данных
АЛЕКСАНДР ДЮМИН
SAN: Определение
Сеть, предназначенная в первую очередь для обмена данными между системами
хранения данных и вычислительными системами
Состоит из
◦ коммуникационной инфраструктуры
◦ управляющей инфраструктуры
Обеспечивает безопасную и надежную пересылку данных
Типы SAN
Fibre Channel (..,4, 8, 10, 16,.. Гбит/с)
◦ FCoE (10,.. Гбит/с)
IP
◦ iSCSI (Internet SCSI) (1, 10,.. Гбит/с)
Смешанные
◦
◦
◦
◦
iSCSI
Fibre Channel
FCIP (Fibre Channel over IP)
iFCP (Internet Fibre Channel Protocol)
Infiniband (?)
Обобщенная структура SAN
LAN
SAN
Построение SAN с использованием FCoE (CNA)
LAN
10G
Ethernet
SAN
Пример топологии SAN на базе FC: Трехуровневая
топология CE
Достоинства SAN
Открытые стандарты
Обеспечивает непрерывность работы
Обеспечивает высокую надежность
Консолидация серверов и хранилищ
Масштабируемость и реконфигурируемость в реальном времени
Достоинства SAN
Централизованное управления
Безопасность
«Быстрое» создание архивных копий
=> Сокращение затрат (TCO, ROI)
Компоненты SAN
Адаптеры для подключения к SAN
◦
◦
◦
◦
HBA / TBA (FC)
HCA / TCA (Infiniband)
NIC / ToE NIC / SNIC (iSCSI)
CNA (FCoE)
Коммуникационное оборудование
◦ Коммутаторы / Шлюзы / Маршрутизаторы
◦ Директоры / Бэкбоны
Интеллектуальные системы хранения (ISS)
Роботизированные ленточные библиотеки
Интеллектуальные системы хранения данных
Подходы
◦
◦
◦
◦
Карты расширения (адаптеры) (DAS)
Отдельные системы (DAS и ISS)
Системы интегрированные с коммутационными ядрами (ISS)
Распределенные системы (DFS)
Задачи
◦
◦
◦
◦
◦
Надежность хранения данных и доступа к данным
Масштабирование
Горячая замена компонентов
Управление и мониторинг подсистемами
Консолидация коммуникаций
Обобщенная схема интеллектуальной подсистемы хранения
данных
УХ
УК
ВСП
УХ
ВСП
ВСП
УК
УХ
ВШИ
ВСП
ВШИ
УХ
СШИ
КП
УХ
ПР
NAS – Network Attached Storage
Хранилище данных доступное через сеть общего пользования
Доступ к данным на уровне файловой системы (сетевой)
◦ CIFS
◦ NFS
◦…
NAS: Определение
Специализированное устройство, служащее в качестве выделенного
высокопроизводительного шлюза для доступа к разделяемым данным на файловом
уровне через сетевую среду общего назначения, как правило, посредством сетевой
файловой системы
Обобщенная структура NAS
Сетевая
файловая
система
LAN
SAN
Классификация NAS
По степени интеграции с устройствами хранения данных
◦ Integrated NAS (Standalone NAS/NAS server) - Интегрированное сетевое хранилище
◦ Gateway NAS (NAS head/Proxy NAS)- Шлюз между сетевыми клиентами и SAN (иногда
DAS) хранилищами
По аппаратной базе
◦ На базе серверов общего назначения
◦ На базе специализированных аппаратных решений
Последовательность операций ввода/вывода при
использовании сетевых файловых систем
Сетевая
файловая
служба
Приложение
1
5
3
Ядро
системы
2
Файловая
система
Редиректор
Клиентская система
4
7
Сеть
Ядро
системы
Хранилище
6
Файловая
система
Редиректор
Серверная система
Недостатки NAS систем на базе классических SMPархитектур
ЦП
ЦП
ЦП
ЦП
Шина процессора
Мост
Память
Шина периферии
Сетевой интерфейс
Интерфейс хранилища
Компоненты NAS сервера
Управляющие узлы
◦ Средства управления компонентами системы
◦ Обеспечивает контроль взаимодействия
Data movers \ Filers
◦
◦
◦
◦
Сетевые интерфейсы
Интерфейсы к системам хранения
Буферная память
Работают под специальной ОС
Коммуникационные узлы
◦ Средства сетевого интерфейса для подсистемы хранения
Узлы хранения
◦ Управление массивами данных
◦ Работают под специальной ОС
Вспомогательные узлы
◦ Питание
◦ Охлаждение
Уровни систем хранения данных в нотации1.SNIA
Direct-attach
Хост
Хост-система с
локальным
менеджером томов
Хост-система с
локальным
менеджером томов и
программным RAID
Блочный уровень
Файловый
уровень
Приложение
2. SAN-attach
Хост
3. NAS head
4. NAS server
LAN
NAS
head
SAN
Дисковый
массив
Агрегирование данных
на уровне блоков хоста
NAS
server
Агрегирование данных на
уровне сетевых блоков
Агрегирование данных
на уровне блоков
устройства хранения
CAS (объектные СХД): Определение
Система хранения данных для хранения и организации доступа к
данным с неизменным содержимым с учетом специальных требований
по безопасности данных, времени хранения данных и доступу к данным
Адресация объектов данных осуществляется не по имени, а по
содержанию с использованием алгоритмов хеширования
Применение CAS-систем
Медицинские учреждения
◦ Хранение рентгенограмм, МРТ-снимков,...
Банки и финансовые организации
◦ Хранение копий чеков, договоров,…
Проектные организации
◦ Хранение CAD/CAM-документации
Библиотеки
◦ Хранение копий различных изданий
Системы охраны, системы online вещания по требованию
◦ Хранение аудио и видео файлов
…
Архитектура CAS. Принцип функционирования
Сервер приложений
Клиенты
IP
LAN
CAS-хранилище
Архитектура EMC Centera
Копии
1 2 3
1
Внутренняя
сеть
IP
LAN
3
2
Узлы доступа
Основные
Узлы хранения
Достоинства CAS-систем
Обеспечивают неизменность и целостность данных
Сокрытие от клиентского ПО места хранения данных
Отсутствие дублирования данных
Быстрый доступ к данным
Управление жизненным циклом данных на уровне объектов хранения
Независимость от технологии хранения
Оптимизированная стоимость владения
Масштабируемость
Сравнение SAN, NAS и CAS
SAN
NAS
CAS
Доступ к
данным
Блочный
Среда
передачи
данных
Fibre Channel IP-сети
IP-сети
IP-сети
Ключевые
требования
к системе
Гарантированная
производительно
сть
Долгосрочное
хранение
неизменных
данных,
гарантированная
целостность
данных
Файловый
Поддержка
нескольких
протоколов,
совместное
использование
ресурсов
системы
Объектный
Интеллектуальная система хранения
Многофункциональные дисковые (SSD/HDD)массивы, которые предоставляют
высокооптимизированную функциональность обработки операций ввода-вывода:
1) Имеет специально разработанную операционную среду, которая обеспечивает функцию
интеллектуального управления ресурсами
2) Предоставляет большой объем кэш-памяти
3) Предоставляет несколько путей ввода-вывода
Функциональность ИСХД
•
Поддержка сочетания жестких и твердотельных дисков
•
Обслуживание большого количества IOPS
•
Горизонтально масштабируемая архитектура
•
Дедупликация, сжатие и шифрование
•
Автоматизированное многоуровневое хранение данных
•
Выделение виртуальных ресурсов хранения
•
Многопользовательская функциональность
•
Поддержка API для интеграции с программно-определяемым центром обработки
данных и облаком
•
Защита данных
Компоненты интеллектуальной системы хранения
Два ключевых компонента
интеллектуальной системы
хранения (ISS)
СХД
◦ Контроллер
◦
◦
◦
◦
блочный;
файловый;
объектно-ориентированный;
унифицированный.
◦ СХД
◦ все жесткие диски (HDD);
◦ все твердотельные диски (SSD);
◦ их сочетание.
Контроллеры
Интеллектуальная
система хранения
ISM v3 модуль 4: интеллектуальные системы хранения
129
СХД — жесткие диски
Компоненты жестких дисков
Плата
контроллера
HDA
Пластина и головка
чтения/записи
Интерфейс
Разъемы для
питания
ISM v3 модуль 4: интеллектуальные системы хранения
131
Структура физического диска
Шпиндель
Сектор
Сектор
Дорожка
Цилиндр
Дорожка
Пластина
ISM v3 модуль 4: интеллектуальные системы хранения
133
Адресация логического блока
Сектор 8
(верхняя поверхность)
Головка 0
Блок 0
Цилиндр 1
Блок 32
(нижняя поверхность)
Блок 64
Блок 128
Физический адрес = CHS
Адрес логического блока = Блок #
ISM v3 модуль 4: интеллектуальные системы хранения
135
Производительность жесткого диска
Электромеханическое устройство
◦ оказывает воздействие на общую производительность системы хранения
Время отклика диска
◦ время, необходимое диску для выполнения запроса ввода-вывода, зависит от:
◦ времени поиска;
◦ задержки из-за вращения диска;
◦ скорости передачи данных.
Время обработки диска = время поиска + задержка из-за вращения диска + время передачи данных
ISM v3 модуль 4: интеллектуальные системы хранения
137
Время поиска
Время, необходимое для позиционирования
головки чтения/записи
Чем меньше времени занимает поиск, тем
быстрей проходят операции ввода-вывода
Характеристики
времени поиска:
Радиальное
движение
◦ время для полного оборота;
◦ среднее время поиска;
◦ время для перехода с дорожки на дорожку.
Время поиска диска указывается его
производителем
ISM v3 модуль 4: интеллектуальные системы хранения
139
Задержка из-за вращения диска
Время, необходимое пластине для вращения и
позиционирования данных в головке чтения/записи
Зависит от скорости вращения шпинделя
Средняя задержка из-за вращения диска
◦ Половина времени, необходимого для полного оборота
ISM v3 модуль 4: интеллектуальные системы хранения
141
Скорость передачи данных
Среднее количество данных, которое диск может доставить в HBA-адаптер
за единицу времени
◦ Скорость внутренней передачи: скорость, с которой данные перемещаются с
поверхности пластины во внутренний буфер диска
◦ Скорость внешней передачи: скорость, с которой данные перемещаются через
интерфейс в HBA-адаптер
Дисковый накопитель
HBA-адаптер
Интерфейс
Здесь измеряется скорость внешней передачи
Буфер
Блок дисков
с головками
Здесь измеряется скорость внутренней передачи
ISM v3 модуль 4: интеллектуальные системы хранения
143
Сравнение использования контроллера ввода-вывода и
времени отклика
На базе основополагающих правил производительности жестких дисков:
◦ Время, необходимое контроллеру для обработки операций ввода-вывода
Время отклика (мс)
Для приложений с высокими требованиями к производительности дисками
обычно используется меньше 70% производительности обслуживания
операций ввода-вывода
Изгиб кривой: диски при
использовании
приблизительно на 70%
Маленький размер очереди
Использование
ISM v3 модуль 4: интеллектуальные системы хранения
145
Конструкция системы хранения на основе требований приложений
и производительности жестких дисков
• Количество дисков, необходимое для удовлетворения потребности приложения в емкости (DC):
• Количество дисков, необходимое для удовлетворения потребности приложения в
производительности (DP):
• Количество операций ввода-вывода в секунду (S), обслуживаемых диском, зависит от времени
обслуживания диска (TS):
• TS — это время на завершение операции ввода-вывода, поэтому количество операций вводавывода в секунду (S), обслуживаемых диском, равняется (1/TS)
- Для приложений, требовательных к производительности (S)=
Необходимый для приложения диск = Макс. (DC, DP)
ISM v3 модуль 4: интеллектуальные системы хранения
147
Система хранения — твердотельные диски (SSD)
Интерфейс ввода-вывода
Компоненты твердотельных дисков
Кэшпамять
Флэшпамять
Флэшпамять
.....
Флэшпамять
Флэшпамять
Контроллер
дисков
Энергонезав
исимая
память
Контроллер
Флэшпамять
........
Флэшпамять
Накопитель
ISM v3 модуль 4: интеллектуальные системы хранения
149
Адресация твердотельных дисков (SSD)
Запись 8 Кбайт на
твердотельный диск
Сохранено как две
страницы по 4 Кбайт
Логически сопоставлено со страницами
(метаданные твердотельного диска)
Адрес LBA 0x2000
Адрес LBA 0x3000
Блок 128 Кбайт
Страница 4 Кбайт
(32 страницы по 4 Кбайт)
ISM v3 модуль 4: интеллектуальные системы хранения
151
Производительность твердотельного диска
Тип доступа
◦ твердотельный диск лучше всего выполняет произвольные операции чтения
◦ твердотельные диски используют все внутренние каналы ввода-вывода параллельно
для многопоточных больших блочных операций ввода-вывода
Состояние диска
◦ новый твердотельный диск или твердотельный диск с большим объемом
неиспользованного пространства имеет лучшую производительность
Продолжительность рабочей нагрузки
◦ твердотельные диски лучше всего подходят для рабочих нагрузок с
кратковременными всплесками активности
ISM v3 модуль 4: интеллектуальные системы хранения
153
Операция чтения с использованием кэш-памяти
Данные, обнаруженные в кэш-памяти = попадание при чтении
Данные, обнаруженные в кэш-памяти
1. Запрос на чтение
Гипервизор
2. Данные,
отправленные в
вычислительную
систему
Данные, не обнаруженные в кэш-памяти = промах при чтении
Данные, не обнаруженные в кэш-памяти
1. Запрос на чтение
2. Запрос на чтение
Гипервизор
4. Данные,
отправленные в
вычислительную
систему
3. Данные,
скопированные в
кэш-память
ISM v3 модуль 4: интеллектуальные системы хранения
155
Операция записи с использованием кэш-памяти
Кэш-память со сквозной записью
Кэш-память
1. Запись данных
2. Запись данных
4. Подтверждение
3. Подтверждение
Гипервизор
Кэш-память с обратной записью
Кэш-память
1. Запись данных
3. Запись данных
2. Подтверждение
4. Подтверждение
Гипервизор
ISM v3 модуль 4: интеллектуальные системы хранения
157
Управление кэш-памятью: алгоритмы
LRU — элементы с самой большой давностью использования
◦ Удаляет данные, доступ к которым не выполнялся долгое время
MRU — последние по времени использования элементы
◦ Удаляет данные, доступ к которым осуществлялся недавно
Новые данные
Кэш-память
Данные LRU/MRU
ISM v3 модуль 4: интеллектуальные системы хранения
159
Управление кэш-памятью: использование уровней
отсечки
Управление пиковыми нагрузками ввода-вывода осуществляется с помощью сброса
◦ Сброс — это процесс передачи данных из кэш-памяти на диски системы хранения
Ниже приведены три режима сброса для управления использованием кэш-памяти.
◦ Неактивный сброс
◦ Сброс на высоком уровне отсечки
◦ Принудительный сброс
100%
Высокий уровень отсечки
Низкий уровень отсечки
Неактивный сброс
Сброс на высоком
уровне отсечки
Принудительный сброс
ISM v3 модуль 4: интеллектуальные системы хранения
161
Защита данных кэш-памяти
Система обеспечивает защиту данных в кэш-памяти от сбоев
электропитания или при неполадках в работе кэш-памяти.
◦ Зеркалирование кэш-памяти
◦ Обеспечивает защиту данных от сбоев в работе кэш-памяти
◦ Каждая операция записи в кэш-память выполняется в двух различных
областях на двух независимых картах памяти
◦ Аварийное сохранение данных из кэш-памяти
◦ Обеспечивается защита данных при сбоях электропитания
◦ В случае сбоев электропитания непереданные данные выгружаются в
выделенный набор дисков, которые называются системными дисками
ISM v3 модуль 4: интеллектуальные системы хранения
163
Понятие RAID
Single Large Expensive Disk
Redundant Array of Inexpensive Disks
Redundant Array of Independent Disks
История RAID
1987: Дэвид Паттерсон (David A. Patterson)
объявляет о начале работы над концепцией RAID
1988: Команда Паттерсона определяет стандарт
RAID для повышения производительности,
надежности и масштабируемости дисковых
массивов
1992: Замена одного IBM 3390 на 84 IBM 0661
1994: Статья в ACM Computer Surveys P.M. Chen, E.K.
Lee, G.A. Gibson, R.H. Katz, D.A. Patterson “RAID: High
performance, reliable storage”
Уровни RAID
Без обеспечения надежности хранения данных (RAID 0)
С возможностью потери до одного жесткого диска (RAID 1-5)
С возможностью потери до двух любых дисков (RAID 6)
Кластерные (комбинированные) – с возможностью потери до одного
(двух) дисков из группы (RAID 1+0, 0+1,...)
RAID 0: Дисковый массив без отказоустойчивости (Striped Disk Array)
Диск 1
Диск 2
Диск 3
Диск 4
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
…
…
…
…
RAID 1: Дисковый массив с зеркалированием
Диск 1
Диск 2
A
A
B
B
C
C
D
D
…
…
RAID 2: Отказоустойчивый дисковый массив с использованием кода Хемминга
Диск Диск Диск Диск Диск Диск Диск
1
2
3
4
5
6
7
ECC1: ECC2: ECC3:
A
B
C
D
ABCD
ABCD
ABCD
E
F
G
H
ECC1:
EFGH
ECC2:
EFGH
ECC3:
EFGH
I
J
K
L
ECC1:
IJKL
ECC2:
IJKL
ECC3:
IJKL
M
N
O
P
ECC1:
MNOP
ECC2:
MNOP
ECC3:
MNOP
…
…
…
…
…
…
…
RAID 3: Отказоустойчивый массив с параллельной передачей данных и четностью
Диск 1
Диск 2
Диск 3
Диск 4
Диск 5
A.1
A.2
A.3
A.4
ECC: A
B.1
B.2
B.3
B.4
ECC: B
C.1
C.2
C.3
C.4
ECC: C
D.1
D.2
D.3
D.4
ECC: D
…
…
…
…
…
XOR: исключающее ИЛИ
X
Y
X⊕Y
0
0
0
0
1
1
1
0
1
1
1
0
XOR: исключающее ИЛИ от 4х
переменных
A
B
C
D
XOR(A,B,C,D)
0
0
0
0
0
0
0
0
1
1
0
0
1
0
1
0
0
1
1
0
0
1
0
0
1
0
1
0
1
0
0
1
1
0
0
0
1
1
1
1
1
0
0
0
1
1
0
0
1
0
1
0
1
0
0
1
0
1
1
1
1
1
0
0
0
1
1
0
1
1
1
1
1
0
1
1
1
1
1
0
RAID 4: Массив независимых дисков с разделяемым диском четности
Диск 1
Диск 2
Диск 3
Диск 4
Диск 5
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
…
…
…
…
ECC:
ABCD
ECC:
EFGH
ECC:
IJKL
ECC:
MNOP
…
Применение RAID 4
NetApp
◦ Ликвидация недостатков за счет интеллектуального управления размещением данных
◦ Эволюция в RAID DP
Архитектура NetApp DATA Ontap
RAID 5: Отказоустойчивый массив независимых дисков с распределенной
четностью
Диск 1
Диск 2
Диск 3
Диск 4
Диск 5
A
B
C
D
E
F
G
I
J
M
ECC:
MNOP
…
ECC:
IJKL
N
ECC:
EFGH
K
ECC:
ABCD
H
…
…
L
O
P
…
…
RAID 6: Отказоустойчивый массив независимых дисков с двумя независимыми
распределенными схемами четности
Обеспечивает надежное хранение данных при выходе из строя до двух
дисков
Два основных подхода
◦ ECC независимые по данным
◦ ECC независимые по алгоритмам
Несколько различных реализаций:
◦
◦
◦
◦
EVENODD
X-Code
С кодами Рида-Соломона (Reed-Solomon)
…
RAID 6: EVENODD
Диск
1
A
Диск
2
B
Диск
3
C
Диск
4
D
Диск
5
Диск
6
P:ABCD
Q:ALOS
E
F
G
H
P:EFGH
Q:BEPS
I
J
K
L
P:IJKL
Q:CFIS
M
N
O
P
P:MNOP
Q:DGJMS
S=H⊕K⊕N
RAID 6: EVENODD
Коды четности распределены по дискам
P – XOR внутри горизонтальных групп
Q – XOR внутри диагональных групп
Случайная запись вызывает 6 операций ввода/вывода для 13 блоков и 12 для 3 блоков
RAID 6: X-Code
Диск 1
Диск 2
Диск 3
Диск 4
Диск 5
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P:CIO
P:DJK
P:EFL
P:AGM
P:BHN
Q:DHL
Q:EIM
Q:AJN
Q:BFO
Q:CGK
RAID 6: X-code
Количество дисков должно быть простым числом
P – XOR внутри диагональных групп слева направо
Q – XOR внутри диагональных групп справа налево
Случайная запись вызывает 6 операций ввода/вывода
RAID 6: Reed-Solomon
Диск 1
Диск 2
Диск 3
Диск 4
Диск 5
Диск 6
A
B
C
D
XOR
ABCD
R-S
ABCD
E
F
G
XOR
EFGH
R-S
EFGH
H
I
J
XOR
IJKL
R-S
IJKL
K
L
M
XOR
MNOP
R-S
MNOP
N
O
P
XOR
QRST
R-S
QRST
Q
R
S
T
RAID 6: Reed-Solomon
XOR внутри горизонтальных групп
R-S внутри горизонтальных групп
Случайная запись вызывает 6 операций ввода/вывода
Может быть расширен для обеспечения надежного хранения данных в случае отказа
большего числа дисков (>2)
Теоретические основы RAID 6 (Reed-Solomon)
H. Peter Anvin. The mathematics of RAID-6 (2004-2009)
James S. Plank. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems
RAID 1+0: Отказоустойчивый массив с дублированием и
параллельной обработкой
Диск
1
Диск
2
Диск
3
Диск
4
Диск
5
Диск
6
A
A
B
B
C
C
D
D
E
E
F
F
G
G
H
H
I
I
…
…
…
…
…
…
RAID 0+1: Отказоустойчивый массив с параллельной обработкой и
зеркалированием
Диск
1
Диск
2
Диск
3
Диск
4
Диск
5
Диск
6
A
B
C
A
B
C
D
E
F
D
E
F
G
H
I
G
H
I
…
…
…
…
…
…
RAID 5+0. Отказоустойчивый массив с распределенными блоками
четности и повышенной производительностью
Диск 1
Диск 2
Диск 3
Диск 4
Диск 5
Диск 6
A
B
P: AB
C
D
P:CD
E
P:EF
F
G
P:GH
H
P:IJ
I
J
P:KL
K
L
…
…
…
…
…
…
RAID 1E: Отказоустойчивый массив с двунаправленным
зеркалированием
Диск 1
Диск 2
Диск 3
A
A
B
B
C
C
D
D
E
E
F
F
…
…
…
Hot Spare HDDs: Диски «горячей» подмены
Предназначены для замены вышедших из строя HDD без участия человека
В нормальном режиме работы не используются
Могут быть общими для всех групп в комбинированных уровнях RAID
RAID 5EE: Отказоустойчивый массив независимых дисков с распределенными
четностью и диском горячей подмены
Диск 1
Диск 2
Диск 3
Диск 4
Диск 5
Диск 6
A
B
C
D
XOR
ABCD
Hot
spare
E
F
G
XOR
EFGH
Hot
spare
H
I
J
XOR
IJKL
Hot
spare
K
L
M
XOR
MNOP
Hot
spare
N
O
P
XOR
QRST
Hot
spare
Q
R
S
T
Подходы к реализации
Программный RAID (LVM и т.п.)
Аппаратный RAID
◦ Плата расширения
◦ Программная реализация на уровне драйвера (интерфейс для подключения HDD)
◦ Аппаратная реализация (полноценный RAID контроллер)
◦ Отдельная система (DAS, SAN)
Реализация при помощи SAN (виртуализаторы на уровне SAN)
Комбинированные подходы
Оценка производительности уровней RAID
4 типа операций
◦ Короткое чтение
◦ Длинное чтение
◦ Короткая запись
◦ Длинная запись
2 режима работы
◦ Штатный
◦ Вырожденный (режим деградации)
Оценка производительности уровней RAID
Зависит от
◦
◦
◦
◦
Архитектуры внутренней шины
Архитектуры внешней шины
Режимов оптимизации
Алгоритмов кэширования
Подходы к оценке:
◦ Теоретические
◦ Моделирование
◦ Тестирование
Теоретическая пропускная способность RAID-массива в
штатном режиме
RAID
Small
Read
Large
Read
1
Small
Write
1
Large
Write
1
RAID0
1
RAID1
1
1
1/2
½
RAID3
1/G
(G-1)/G 1/G
RAID5
1
1
RAID6
1
1
(G-1)/G
Max(1/ (G-1)/G
G, 1/4)
Mac(1/ (G-2)/G
G,1/6)
Теоретическая производительность RAID-массива в
штатном режиме
RAID
Small
Read
Large
Read
1
Small
Write
1
Large
Write
1
JBOD
1
RAID0
1
G
1
G
RAID1
1
G (=2)
1
1
RAID3
1
G-1
1/2
G-1
RAID5
1
G-1
1/2
G-1
RAID6
1
G-2
1/2
G-2
Оценка производительности: постановка задачи
Приложению требуется X IOPS для нормальной работы, отдельный HDD обеспечивает Y
IOPS, доли операций чтения и записи составляют соответственно R и W, операции ввода /
вывода носят случайный характер рассчитать необходимое количество дисков в массиве с
заданным уровнем RAID
Оценка производительности: оценка необходимого
количества дисков
N = X*(R*IOPSr +W*IOPSw) / Y
R+W=1
◦ RAID 0: IOPSr = IOPSw = 1
◦ N = X * (R*1 + W * 1) / Y= X/Y
◦ RAID 5: IOPSr = 1, IOPSw = 4
◦ N = X * (R * 1 + W * 4) / Y
◦ RAID 10: IOPSr = 1, IOPSw = 2
◦ N = X * (R * 1 + W * 2) / Y
◦…
Эффективность использования емкости массива
RAID
JBOD
Доля полезной
емкости
1
RAID level 0
1
RAID level 1
1/2
RAID level 3
(G-1)/G
RAID level 5
(G-1)/G
RAID level 6
(G-2)/G
Рекомендации по применению RAID-массивов
Уровень
Типичное количество
дисков на устройство
Применение
RAID0
1-32
Обработка потоковой аудио/видео
информации
RAID1
RAID1E
RAID5
2
3-16
3-32
Загрузочные разделы ОС
RAID10
RAID50
RAID6
4-16
6-60
6-32
RAID60
8-64
Малоразмерные базы данных
Веб-сервера, ориентированные на чтение
сервера с транзакционной обработкой данных
Базы данных
Организация информационных хранилищ
Веб-сервера, ориентированные на чтение
сервера с транзакционной обработкой данных
повышенной надежности
Большие высоконадежные массивы
данных
Тема: Оценка надежности и производительности дисковых
подсистем на базе RAID
 ОЦЕНКА НАДЕЖНОСТИ
при помощи Марковских цепей (1988)
последовательное моделирование методом Монте-Карло – метод Элиреса (Jon G. Elerath) (2007)
 ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ
 ОЦЕНКА ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ ДИСКОВОГО ПРОСТРАНСТВА
Основные метрики надежности для дисковых подсистем
Среднее время до сбоя (MTTF, MTBF)
Среднее время восстановления (MTTR)
Среднее время до потери данных (MTTDL)
Среднее время до потери доступа к данным (MTTLDA, MTDA)
Оценка надежности дисковых массивов с использованием
Марковских цепей
Допущения:
◦ Интенсивности перехода из одного состояния в другое
константы
◦ В упрощенном случае рассматриваются только дисковые
компоненты системы хранения данных
◦ Массив состоит из N+1 дисков, используется уровень RAID
1-5
◦ MTTF>>MTTR
Марковская модель системы с восстановлением
N
( N  1)
2
1
0

MTTF  1 / 
MTTR  1 / 
Постановка задачи
 2 (0)  1
 1 (0)  0
 0 (0)  0
MTTDL = ?
Система уравнений Колмогорова
 d 2 (t )


(
N

1
)

(
t
)


(
t
)
2
1

dt
 d (t )
1
 ( N 1)2 (t )  ( N  )1 (t )

 dt
d 0 (t )

 N1 (t )

dt
Преобразования Лапласа

Не у дает ся от образит ь рису нок.
 ( s)  L (t )   e  (t )dt
 st
0
s    i
d  (s)
 s ( s )   (0)
dt
Решение уравнений Колмогорова
 s 2 (s) 1  (N 1) 2 (s)  1(s)

1(s)  (N 1) 2 (s)  (N  )1(s)

0 (s)  N1(s)

N(N 1)
  0 (s)  2
2
s(s  (  2N  )s  N(N 1) )
2
Обратное преобразование Лапласа
1
1
s
1
 e at
sa
a
 1 2 e   2 t e   1 t
 1
(

);
2
s ( s  bs  a )
1   2  2
1
 1, 2 
b
b 2  4a
2
Переход от изображения к оригиналу
a  N ( N  1)  2
b    2N  
 1, 2 
b 
 0 (t )  1 
b2  4a
2
 1
2
1  
(
2
e  2t

2

e   1t
1
)
Среднее время до потери данных

MTTDL   (1   0 (t ))dt 
0
 1 2 1 1
1   2 b

( 2  2)
 
1   2  2 1
 1 2
a
  2 N  
MTTF 2


2
N ( N  1)
N ( N  1) MTTR
Среднее время до потери данных в групповом уровне RAID:
постановка задачи
Двухуровневый RAID
Первый из уровней RAID 0, второй позволяет восстановить данные при отказе 1 диска
N+1-дисков в массиве
G+1-дисков в группе четности
Среднее время до потери данных в групповом уровне RAID:
Марковская цепь
( N  1)
2
G
1
0

MTTF  1 / 
MTTR  1 / 
Среднее время до потери данных в групповом уровне RAID
2
MTTF
MTTDL 
( N  1)(G ) MTTR
Усиление модели: вероятность повторного сбоя
MTTF (disk )  MTTF (disk 2)
MTTDL( DDF ) 
( N  1)(G )  MTTR (disk )
MTTF (disk 2)  MTTF (disk )
Усиление модели: вероятность невосстановимой ошибки
при чтении
MTTF (disk )
MTTDL( DF  BE ) 
G
N (1  p )
p - вероятность успешного чтения всех данных с HDD
Усиление модели: вероятность программного сбоя
MTTF ( sys )  MTTF (disk )
MTTDL( SC  DF ) 
N  MTTR ( sys )
Аппаратная реализация RAID с энергонезависимым КЭШ
MTTDL ~
1
1
1

MTTDL ( DDF ) MTTDL ( DF  BE )
Программная реализация RAID
MTTDL ~
1
1
1
1


MTTDL( DDF ) MTTDL( DF  BE ) MTTDL( SC  DF )
Среднее время до потери данных в RAID 6: Марковская
цепь
N
3

( N  1)
2
( N  2)
1

MTTF  1 / 
MTTR  1 / 
0
Среднее время до потери данных в RAID 6
MTTF 3
MTTDL 
N ( N  1)( N  2) MTTR 2
Недостатки подхода основанного на Марковских цепях
Частота сбоев является функцией времени
Частота сбоев зависит от модели компонент
Время восстановления после сбоя не постоянно, но имеет нижнюю
границу
Невосстановимые ошибки могут случаться в любое время
В модель необходимо включить наличие скрытых ошибок
Модель сбоев HDD
Сбой
Функциональный
сбой
Скрытая ошибка /
Отложенная ошибка
Нарушение
серворазметки
Поломка блока
электроники
Ошибки
при записи
Ошибки системы
позиционирования
Поломка головок
чтения/записи
Уничтожение
данных
Достигнут предел
одного из SMARTпараметров
Пример скрытой ошибки
Событие
A
B
C
D
a0
b0
c0
a0+b0+c0
a0
b0
c0
a1+b0+c0
a2
b0
c0
a0+a2+a1+b0+c0
a2
b0+a0+a1
c0
a0+a2+a1+b0+c0
UWE A
OK W A
FAIL B
Метод Элиреса для оценки надежности дисковых систем
Используются 4 распределения:
◦
◦
◦
◦
D(Op) – время до функционального сбоя
D(Ld) – время до появления скрытой ошибки
D(Rest) – время восстановления после функционального сбоя
D(Scrub)-время обнаружения и исправления скрытой ошибки
Диаграмма состояний RAID массива из N+1 дисков
g(N+1;D(Ld))
g(D(Scrub))
0 Ld
0 Op
X Ld
0 Op
g(N-X;D(Op))
X Ld
1 Op
g(X,D(Op))
g(D(Rest))
g(N;D(Op))
1 Op
g(N+1;D(Op))
2 Op
Последовательное моделирование методом Монте-Карло
Функция Вейбулла распределения плотности вероятности
 1  t  

 






t





 

e
f (t )      
,t  
 


,t  
0


Время до функционального сбоя
Вероятность функционально сбоя
0,0000018
 0
  461386
  1,12
0,0000016
0,0000014
0,0000012
0,000001
0,0000008
0,0000006
0,0000004
0,0000002
0
0
200000
400000
600000
800000
1000000 1200000 1400000 1600000 1800000 2000000
время, час
Время восстановления после функционального сбоя
Вероятность восстановления после функционального сбоя
0,08
 6
  12
 2
0,07
0,06
0,05
0,04
0,03
0,02
0,01
0
0
10
20
30
40
50
-0,01
время, час
60
70
80
90
Время до появления скрытой ошибки
Верояность появления скрытой ошибки
0,00012
 0
  9259
 1
0,0001
0,00008
0,00006
0,00004
0,00002
0
0
10000
20000
30000
40000
время, час
50000
60000
70000
Время до исправления скрытой ошибки
Вероятность исправления скрытой ошибки
0,008
 6
  168
 3
0,007
0,006
0,005
0,004
0,003
0,002
0,001
0
0
50
100
150
200
-0,001
время, час
250
300
350
400
Сравнение методик оценки
Метод
Интервал
проверки
целостности
данных, час
Количество
двойных
сбоев в
первый год
Отношение
Марковские
цепи
Нет
0,03
1
Метод
Элиреса
Нет
78
2593
Метод
Элиреса
336
21
700
Метод
Элиреса
168
11
360
Метод
Элиреса
48
5
150
Метод
Элиреса
12
1
33
Методы борьбы с отложенными (скрытыми) ошибками
J. L. Hafner, V. Deenadhayalan, W. Belluomini,K. Rao. Undetected disk errors in RAID arrays - IBM
J. RES. & DEV. VOL. 52 NO. 4/5 JULY/SEPTEMBER 2008.
Оценка производительности уровней RAID
4 типа операций
◦ Короткое чтение
◦ Длинное чтение
◦ Короткая запись
◦ Длинная запись
2 режима работы
◦ Штатный
◦ Вырожденный (режим деградации)
Оценка производительности уровней RAID
Зависит от
◦
◦
◦
◦
Архитектуры внутренней шины
Архитектуры внешней шины
Режимов оптимизации
Алгоритмов кэширования
Подходы к оценке:
◦ Теоретические
◦ Моделирование
◦ Тестирование
Теоретическая пропускная способность RAID-массива в
штатном режиме
RAID
Small
Read
Large
Read
1
Small
Write
1
Large
Write
1
RAID0
1
RAID1
1
1
1/2
½
RAID3
1/G
(G-1)/G 1/G
RAID5
1
1
RAID6
1
1
(G-1)/G
Max(1/ (G-1)/G
G, 1/4)
Mac(1/ (G-2)/G
G,1/6)
Теоретическая производительность RAID-массива в
штатном режиме
RAID
Small
Read
Large
Read
1
Small
Write
1
Large
Write
1
JBOD
1
RAID0
1
G
1
G
RAID1
1
G (=2)
1
1
RAID3
1
G-1
1/2
G-1
RAID5
1
G-1
1/2
G-1
RAID6
1
G-2
1/2
G-2
Оценка производительности: постановка задачи
Приложению требуется X IOPS для нормальной работы, отдельный HDD обеспечивает Y
IOPS, доли операций чтения и записи составляют соответственно R и W, операции ввода /
вывода носят случайный характер рассчитать необходимое количество дисков в массиве с
заданным уровнем RAID
Оценка производительности: оценка необходимого
количества дисков
N = X*(R*IOPSr +W*IOPSw) / Y
R+W=1
◦ RAID 0: IOPSr = IOPSw = 1
◦ N = X * (R*1 + W * 1) / Y= X/Y
◦ RAID 5: IOPSr = 1, IOPSw = 4
◦ N = X * (R * 1 + W * 4) / Y
◦ RAID 10: IOPSr = 1, IOPSw = 2
◦ N = X * (R * 1 + W * 2) / Y
◦…
Эффективность использования емкости массива
RAID
JBOD
Доля полезной
емкости
1
RAID level 0
1
RAID level 1
1/2
RAID level 3
(G-1)/G
RAID level 5
(G-1)/G
RAID level 6
(G-2)/G
Рекомендации по применению RAID-массивов
Уровень
Типичное количество
дисков на устройство
Применение
RAID0
1-32
Обработка потоковой аудио/видео
информации
RAID1
RAID1E
RAID5
2
3-16
3-32
Загрузочные разделы ОС
RAID10
RAID50
RAID6
4-16
6-60
6-32
RAID60
8-64
Малоразмерные базы данных
Веб-сервера, ориентированные на чтение
сервера с транзакционной обработкой данных
Базы данных
Организация информационных хранилищ
Веб-сервера, ориентированные на чтение
сервера с транзакционной обработкой данных
повышенной надежности
Большие высоконадежные массивы
данных
Обзор выделения ресурсов хранения
Выделение ресурсов хранения
Процедура назначения ресурсов хранения данных вычислительной системе
зависит от требований, предъявляемых к емкости, доступности и
производительности.
Существует два способа:
◦ традиционное выделение ресурсов хранения;
◦ выделение виртуальных ресурсов хранения.
ISM v3 модуль 4: интеллектуальные системы хранения
304
Традиционное выделение ресурсов
Контроллер
ТОМ 0
Внутренние
Внешние
Вычислительная
система 1
Система хранения
(набор массивов RAID)
Кэш-память
ТОМ 0
Сеть
хранения
ТОМ 1
Гипервизор
ТОМ 1
Вычислительная
система 2
ISM v3 модуль 4: интеллектуальные системы хранения
306
Расширение логических устройств
Базовый том
Компонентное ЛУ
Метатом
Метод для расширения томов, которым необходима
дополнительная емкость или производительность.
Создается путем объединения двух или нескольких устройств
Объединенный Метатом
Метатом может быть объединенным или распределенным
Базовый том
Компонентное ЛУ
Объединенный метатом
◦ Обеспечивает только дополнительную емкость, но не производительность
◦ Расширение выполняется оперативно, поскольку данные не
перераспределяются
Распределенный метатом
◦ Обеспечивает емкость и производительность
◦ Расширение выполняется медленно, поскольку данные перераспределяются
Распределенный
Метатом
ISM v3 модуль 4: интеллектуальные системы хранения
308
Виртуальное выделение ресурсов
10 Тбайт
«Тонкий»
том 0
Зарегистрированная
емкость вычислительной
системы
3 Тбайт
Выделено
Контроллер
Внутренние
Внешние
Вычислительная
система 1
Система хранения
(пул хранения данных)
Кэш-память
«Тонкий»
том 0
Сеть хранения
«Тонкий»
том 1
10 Тбайт
Гипервизор
Вычислительная
система 2
«Тонкий»
ТОМ 1
Выделено
4 ТБ
Зарегистрированная
емкость
вычислительной
системы
ISM v3 модуль 4: интеллектуальные системы хранения
310
Расширение тонких томов
Емкость
пользователя
после
расширения
Используем
ая емкость
Пул хранения
данных
Добавление дисков
СХД к пулу хранения
данных
Пул хранения
данных
Повторная балансировка
«тонкого» пула
«Тонкий» том
Расширение
«тонкого» тома
Используем
ая емкость
Емкость
пользователя
перед
расширением
«Тонкий» том
Расширение пула хранения данных
Расширение «тонкого» тома
ISM v3 модуль 4: интеллектуальные системы хранения
312
Традиционное выделение ресурсов в сравнении с
виртуальным выделением ресурсов
Доступная
емкость 150 ГБ
400 Гбайт
выделенно
й
неиспользо
ванной
емкости
500 Гбайт
выделенн
ой
неиспольз
ованной
емкости
600 Гбайт
выделенно
й
неиспользо
ванной
емкости
100 Гбайт
данных
50 Гбайт
данных
200 Гбайт
данных
ТОМ 1 —
500 Гбайт
ТОМ 2 —
550 Гбайт
ТОМ 3 —
800 Гбайт
1500 Гбайт
или 1,5 Тбайт
выделенной
неиспользов
анной
емкости
350 Гбайт
фактических
данных
Система
хранения
данных 2 ТБ
Традиционное выделение
ресурсов
500 ГБ
1650 Гбайт
или
1,65 Тбайт
доступной
емкости
Выделено
100 Гбайт
350 Гбайт
фактических
данных
550 Гбайт
«Тонкий»
том 1
Выделено
50 Гбайт
«Тонкий»
том 2
800 ГБ
Выделено
200 Гбайт
«Тонкий»
том 3
Система
хранения
данных 2 ТБ
Виртуальное выделение
ресурсов
ISM v3 модуль 4: интеллектуальные системы хранения
314
Маскирование логических устройств
Это процесс, обеспечивающий контроль доступа к данным путем
определения томов, к которым вычислительная система может
осуществлять доступ.
◦ Реализовано в системе хранения
◦ Предотвращает несанкционированное или случайное использование томов
в общей среде
ISM v3 модуль 4: интеллектуальные системы хранения
316
Обзор многоуровневого хранения данных
Технология формирования иерархии типов СХД и определения данных,
подходящих для перемещения в систему хранения соответствующего типа,
чтобы обеспечить выполнение требований к обслуживанию с
минимальными затратами.
◦ Каждый уровень имеет разные уровни защиты данных, производительности и
стоимости
◦ Для эффективного многоуровневого хранения данных необходимо определить
политики многоуровневого хранения
◦ Многоуровневое хранение в блочных системах хранения
◦ Многоуровневое хранение на уровне тома и элемента тома
◦ Многоуровневая кэш-память
◦ Серверное кэширование на основе флэш-памяти
ISM v3 модуль 4: интеллектуальные системы хранения
318
Многоуровневое хранение на уровне тома и элемента тома
Многоуровневое хранение на уровне тома
◦ Осуществляется перемещение всего тома с
одного уровня на другой
◦ Не обеспечивает существенную экономию
затрат и повышение производительности
Уровень 0
Весь том
перемещается с
активными данными
с уровня 1 на
уровень 0, чтобы
обеспечить
повышение
производительност
и
ТОМ
ТОМ
Уровень 1
ТОМ
ТОМ
Многоуровневое хранение на уровне тома
Многоуровневое хранение на уровне
элемента тома
◦ Том разбивается на небольшие сегменты для
выполнения многоуровневого хранения
◦ Обеспечивает существенную экономию затрат
и повышение производительности
Весь том с
неактивными
данными
перемещается с
уровня 0 на
уровень 1
Уровень 0
Активные данные
перемещаются с
уровня 1 на уровень 0,
чтобы обеспечить
повышение
производительности
Неактивные
данные
перемещаются с
уровня 0 на
уровень 1
Уровень 1
Многоуровневое хранение на уровне элемента тома
Неактивные данные
Активные данные
ISM v3 модуль 4: интеллектуальные системы хранения
320
Многоуровневая кэш-память
Позволяет создавать вторичную кэш-память большой
емкости с использованием твердотельных дисков
Обеспечивает многоуровневое хранение между кэшпамятью DRAM и твердотельными дисками
(вторичной кэш-памятью)
Большинство операций чтения обслуживаются
непосредственно из высокопроизводительной кэшпамяти многоуровневого хранения
Преимущества
◦ Улучшенная производительность при пиковой
рабочей нагрузке
◦ Бесперебойная работа и прозрачность для
приложений
Кэш-память DRAM
SSD
Урове
нь 0
Урове
нь 1
Кэш-память
многоуровневого хранения
СХД
ISM v3 модуль 4: интеллектуальные системы хранения
322
Технология серверного кэширования на основе флэш-памяти
Вычислительная система
Использует интеллектуальное программное обеспечение
для кэширования и флэш-карту PCIe в вычислительной
системе
Приложение
Программное обеспечение для
интеллектуального кэширования
Значительно повышает производительность приложений
◦ Обеспечивает повышение производительности в случае большого
количества операций чтения
◦ Устраняет задержки в работе сети, связанные с доступом к СХД
при выполнении операций ввода-вывода
Интеллектуально определяет данные, которые
Флэшкарта
PCIe
HBAадаптер
Сеть
хранения
целесообразно размещать в вычислительной системе на
флэш-карте PCIe
Использует минимум ресурсов ЦП и памяти
◦ Управление флэш-памятью осуществляется с помощью карты
PCIe
Система хранения
данных
ISM v3 модуль 4: интеллектуальные системы хранения
324
Сценарий использования — блочная система хранения в
облаке
Хранение данных как услуга
Экземпляры ВМ, на базе которых
работают бизнес-приложения
Тома блочной СХД
Блочная система
хранения
ISM v3 модуль 4: интеллектуальные системы хранения
326
Что такое непрерывность бизнеса?
Непрерывность бизнеса
Процесс подготовки к системной аварии, который может негативно повлиять на
операции бизнеса, реагирование на такой сбой, а также восстановление после него.
Процесс непрерывности бизнеса обеспечивает непрерывную доступность
информации и сервисов в случае сбоя для соответствия требований соглашения об
уровне обслуживания.
Непрерывность бизнеса включает в себя различные упреждающие и реагирующие
контрмеры.
Очень важно автоматизировать процесс непрерывности бизнеса, чтобы сократить
объем работы, выполняемой вручную.
ISM v3 Module 12: Introduction to Business Continuity
Назначение решения непрерывности бизнеса — обеспечить доступность информации.
ISM v3 модуль 4: интеллектуальные системы хранения
328
Какое значение имеет непрерывность бизнеса?
Непрерывный доступ к информации обеспечивает бесперебойную
работу операций бизнеса.
◦ Преимущества: увеличение прибыли, поддержание производительности на
нужном уровне, сохранение репутации.
Организации должны обеспечить соответствие соглашениям со
строгими требованиями к уровню обслуживания.
◦ Недоступность информации становится для организаций недопустима.
Существует множество угроз непрерывности бизнеса.
ISM v3 Module 12: Introduction to Business Continuity
Критически важно внедрить процесс по устранению связанных
сложностей.
ISM v3 модуль 4: интеллектуальные системы хранения
330
Доступность информации
Доступность информации
Возможность ИТ-инфраструктуры функционировать в соответствии с требованиями
бизнеса и ожиданиями заказчиков в течение времени ее эксплуатации.
Доступность информации можно охарактеризовать следующим:
Доступность
• Информация должна быть доступна пользователю при
необходимости.
Надежность
• Информация должна быть надежной и точной во всех аспектах.
Своевременность
• Определяет временной период, в течение которого должна быть
доступна информация.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
332
Причины недоступности информации
Сбой приложения.
◦ Например, вследствие критических исключений, вызванных сбоем логики.
Потеря данных.
Сбой компонента инфраструктуры.
Сбой центра обработки данных или площадки
◦ вследствие сбоя питания или аварии.
Модернизация ИТ-инфраструктуры.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
334
Последствия недоступности информации
Потери продуктивности
•
Число затронутых сотрудников x
число часов недоступности x
часовая ставка
Определите потери от простоя
(за час, день, два дня и т. д.)
Потеря прибыли
• Прямые убытки
•
Компенсационные выплаты
•
•
Утрата будущей прибыли
Убытки по счетам
•
Убытки по инвестициям
Финансовые показатели
• Учет доходов
• Приток наличности
• Утраченные скидки (A/P)
• Гарантии выплат
• Кредитный рейтинг
Потеря репутации
• Заказчики
• Поставщики
• Финансовые рынки
• Банки
• Бизнес-партнеры
•
Другие расходы
•
Ценные бумаги pncef
ISM v3 Module 12: Introduction to Business Continuity
Временные рабочие, аренда оборудования,
сверхурочные затраты, перерасход при
транспортировке, командировочные и т. д.
ISM v3 модуль 4: интеллектуальные системы хранения
336
Оценка информационной доступности
Время ремонта, или «простой»
Время отклика
Выявление
Инцидент
Время восстановления
Исправление
Диагностика
Время
обнаружения
Время ремонта
Инцидент
Восстановление
Время
Восстановление
Время между сбоями, или «время
бесперебойной работы»
Среднее время безотказной работы — среднее время доступности системы или компонента для выполнения нормальных
операций между сбоями
Среднее время безотказной работы = общее время бесперебойной работы/число сбоев
Среднее время ремонта — среднее время, необходимое для ремонта сбойного компонента
Среднее время ремонта = общее время простоя/число сбоев
ISM v3 Module 12: Introduction to Business Continuity
Информационная доступность = среднее время безотказной работы/(среднее время безотказной работы + среднее
время ремонта), или информационная доступность = время бесперебойной работы/(время бесперебойной работы +
время простоя)
ISM v3 модуль 4: интеллектуальные системы хранения
338
Основная терминология непрерывности бизнеса
Аварийное восстановление
Этап процесса непрерывности бизнеса, который включает набор политик (правил) и процедур
для восстановления ИТ-инфраструктуры (включая данные) после аварии, вызванной
природным или человеческим фактором, которые необходимы для работы ИТ-сервисов,
Базовая концепция аварийного восстановления заключается в наличии
резервного центра обработки данных или площадки (площадка аварийного
восстановления).
◦ На предварительно запланированном уровне операционной готовности, если сбой
происходит в основном центре обработки данных.
Модель «аварийное восстановление как услуга» (DRaaS) была создана в качестве
решения для укрепления позиций портфеля поставщиков облачных услуг.
ISM v3 Module 12: Introduction to Business Continuity
◦ Предлагает организациям эффективное решение аварийного восстановления.
ISM v3 модуль 4: интеллектуальные системы хранения
340
Основная терминология непрерывности бизнеса
(продолжение)
Целевая точка восстановления
(RPO)
Целевое время
восстановления (RTO)
Момент времени, на который нужно
восстановить работу систем и данные
после сбоя
Время, в течение которого нужно
восстановить работу систем и
приложений после сбоя
Допустимый объем потерянных данных
для бизнеса
Допустимое время простоя для бизнеса
Целевое время восстановления
(RTO)
Целевые точки
восстановления (RPO)
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
ОБЪЯВЛЕНИЕ ОБ АВАРИИ: 10:00
КУРС «ОТ ХРАНЕНИЯ ДАННЫХ К УПРАВЛЕНИЮ ИНФОРМАЦИЕЙ» (ISM), ВЕРСИЯ 3. МОДУЛЬ 12: «ОСНОВНЫЕ СВЕДЕНИЯ О
НЕПРЕРЫВНОСТИ БИЗНЕСА»
342
Жизненный цикл планирования непрерывности бизнеса
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
344
ISM v3 модуль 4: интеллектуальные системы хранения
Анализ воздействия на бизнес
Определяет, какие бизнес-подразделения и процессы критически
важны для работы бизнеса.
Прогнозирует затраты при сбое для каждой бизнес-функции.
Рассчитывает максимальное допустимое время простоя и определяет
целевое время восстановления для каждой бизнес-функции.
Предприятия могут определить приоритеты и внедрить меры по
устранению таких простоев.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
346
BC planning workflow
Требования непрерывности бизнеса для третьей
платформы
Решения непрерывности бизнеса должны обеспечивать:
◦ Непрерывную доступность бизнес-сервисов
◦ путем устранения критических точек отказа в центрах обработки данных
и между ними.
◦ Автоматическое аварийное переключение сервисов.
◦ Простую интеграцию ПО защиты данных с
◦ корпоративными, мобильными, облачными приложениями и приложениями
социальных сетей;
◦ средой программно-определяемого центра обработки данных.
◦ Оптимизацию ресурсов для сокращения капитальных и операционных издержек
◦ путем поддержки дедупликации и применения техник оптимизации глобальной
сети.
ISM v3 Module 12: Introduction to Business Continuity
◦ Централизованное и унифицированное управление.
ISM v3 модуль 4: интеллектуальные системы хранения
350
Технологические решения для обеспечения
непрерывности бизнеса
Внедрение механизмов отказоустойчивости.
◦ Развертывание резервируемости на уровне компонентов инфраструктуры
и уровне площадки для устранения критических точек отказа.
Развертывание решений для защиты данных, например резервного
копирования и репликации.
Внедрение автоматического аварийного переключения для
приложений или сервисов.
Проектирование отказоустойчивых приложений.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
352
Критическая точка отказа
Критическая точка отказа
Обозначает любой отдельный компонент или аспект инфраструктуры, сбой
которого приведет к недоступности всей системы или сервиса.
Критические точки отказа могут возникать на
◦ уровне компонентов (вычислительные, хранения и сетевые);
◦ уровне площадки или центра обработки данных.
Центр обработки данных
Точка отказа на
уровне системы
хранения
Точка отказа на уровне сети
Точка отказа
на уровне
площадки
ISM v3 Module 12: Introduction to Business Continuity
Точка отказа на
уровне
вычислительной
системы
Гипервизор
Вычислительная система
Коммутатор FC
Система хранения данных
ISM v3 модуль 4: интеллектуальные системы хранения
354
Устранение критических точек отказа
Критические точки отказа можно устранить, внедрив механизмы
отказоустойчивости, например резервируемость.
◦ Внедрите резервируемость на уровне компонентов:
◦ вычислительной системы;
◦ системы хранения;
◦ сети.
◦ Внедрите несколько зон доступности:
◦ устраните критические точки отказа на уровне центра обработки данных или
площадки;
◦ обеспечьте глобальное аварийное переключение для приложений.
Очень важно внедрить механизмы высокой доступности, которые
автоматизируют аварийное переключение для приложений и сервисов.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
356
Внедрение резервируемости на уровне компонентов
Основные техники для защиты вычислительной системы
Кластеризация
Бесперебойная миграция ВМ
Основные техники для защиты сетевых подключений
Агрегирование каналов связи и коммутаторов
Группирование сетевых карт
Решения для нескольких путей
Настройка резервируемых компонентов с возможностью
«горячей» замены
Основные техники для защиты системы хранения
RAID и защита от потерь
Динамическое резервирование дисков
Настройка резервируемых компонентов системы хранения
Кластеризованная
вычислительная система
Резервируемые
каналы
Гипервизор
Клиенты
Группирование
сетевых карт
Резервируемые
HBA-адаптеры
Резервируемые
коммутаторы FC
LAN/WAN
Удаленная
площадка
Резервируемая
сеть
Гипервизор
Группирование
сетевых карт
Резервируемые
порты
Резервируемые
системы хранения
КУРС «ОТ ХРАНЕНИЯ ДАННЫХ К УПРАВЛЕНИЮ ИНФОРМАЦИЕЙ» (ISM), ВЕРСИЯ 3. МОДУЛЬ 12: «ОСНОВНЫЕ СВЕДЕНИЯ О
НЕПРЕРЫВНОСТИ БИЗНЕСА»
358
Кластеризация вычислительной системы
Кластеризация вычислительной системы
Метод, при котором по меньшей мере две вычислительные системы (или узла)
работают и рассматриваются как единая вычислительная система для обеспечения
высокой доступности и балансировки нагрузки.
Обеспечивает аварийное переключение сервисов в случае сбоя
вычислительной системы на другую систему для устранения или
минимизации времени простоя.
Два основных типа кластеризации:
◦ «активная-активная»;
◦ «активная-пассивная».
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
360
Пример кластеризованной вычислительной системы
Различные гипервизоры, которые выполняются на разных системах,
кластеризованы.
Обеспечивает непрерывную доступность сервисов, выполняемых в виртуальных
машинах, даже в случае сбоя вычислительной системы или гипервизора.
◦ Обычно активный экземпляр (например, резервная ВМ) основной ВМ создается
в другой вычислительной системе.
Запись
событий
Основная ВМ
Гипервизор
Трафик
журналирования
Реагирование
на события
Кластеризация гипервизоров
Резервная ВМ
Гипервизор
Подтверждение
ISM v3 Module 12: Introduction to Business Continuity
Сеть
Система хранения данных
ISM v3 модуль 4: интеллектуальные системы хранения
362
Механизмы отказоустойчивости сети
Агрегирование каналов связи
◦ Объединяет каналы связи между двумя
коммутаторами, а также между коммутатором
и узлом.
Коммутатор FC
◦ Обеспечивает аварийное переключение для сетевого
трафика в случае сбоя агрегирования.
Коммутатор FC
Агрегирование каналов связи
Физическая вычислительная
система
Группирование сетевых карт
Распределение
нагрузки и аварийное
переключение
◦ Группирует сетевые карты таким образом, что они
представляются операционной системе или
гипервизору как одна логическая сетевая карта.
◦ Обеспечивает аварийное переключение для сетевого
трафика в случае сбоя сетевой карты или канала.
ISM v3 Module 12: Introduction to Business Continuity
◦ Распределяет сетевой трафик между сетевыми
картами.
ПО для
группирования
Логическая
сетевая карта
Физический
коммутатор
Физическая сетевая карта
Группирование сетевых карт
ISM v3 модуль 4: интеллектуальные системы хранения
364
Механизмы отказоустойчивости сети (продолжение)
Физическая вычислительная система
Гипервизор
Решения для нескольких путей
ПО для управления
несколькими путями
◦ Позволяет вычислительной системе использовать
несколько путей для передачи данных тому.
◦ Обеспечивает аварийное переключение,
перенаправляя операции ввода-вывода со сбойного
пути на другой активный путь.
◦ Выполняет балансировку нагрузки, распределяя
операции ввода-вывода между активными путями.
◦ Резервные пути становятся активными, если
один или несколько путей перестанут работать.
HBA 2
HBA 1
Путь 1
Путь 3
Путь 4
Путь 2
Коммутатор FC
Коммутатор FC
SC 1
SC 2
ISM v3 Module 12: Introduction to Business Continuity
Система
хранения
данных
Том
ISM v3 модуль 4: интеллектуальные системы хранения
366
Механизмы отказоустойчивости системы хранения
RAID
◦ Обеспечивает защиту данных в случае сбоя одного или
двух дисков.
Защита от потерь
A1
A2
AP
AQ
B1
BP
BQ
B2
CP
CQ
C1
C2
RAID 6 — двойная распределенная четность
◦ Обеспечивает компактное резервирование данных для
защиты от потерь данных в случае сбоя нескольких
дисков.
Динамическое резервирование дисков
◦ Автоматически заменяет сбойный диск резервным,
обеспечивая защиту от потери данных.
◦ Для повышения доступности можно использовать
несколько резервных дисков.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
368
Механизмы отказоустойчивости системы хранения
(продолжение)
Вычислительная
система
Отказоустойчивость системы хранения с использованием
виртуализации
Виртуальный
том
Гипервизор
Ввод-вывод
Виртуальный том создается с использованием
устройства виртуализации.
Устройство
виртуализации
◦ Каждая операция тома зеркалируется на логические
тома в системах хранения.
Пул
хранения
SAN
Виртуальный том непрерывно доступен
вычислительной системе
Том
Том
◦ даже в случае недоступности системы хранения
вследствие сбоя.
ISM v3 Module 12: Introduction to Business Continuity
Система
хранения
данных
Элементы
зеркала
ISM v3 модуль 4: интеллектуальные системы хранения
Система
хранения
данных
370
Отказоустойчивость на уровне площадки
Зона доступности
Зона доступности — это область с собственным набором ресурсов,
которая изолирована от других зон.
◦ Зоной может быть весь центр обработки данных или только его часть.
◦ Позволяет запускать несколько экземпляров сервисов в зонах и между ними для
защиты от сбоя центра обработки данных или площадки.
◦ В случае сбоя сервис прозрачно выполнит аварийное переключение между
зонами.
Зоны в одном регионе обычно подключены к сети с низкой задержкой
для быстрого аварийного переключения сервисов.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
372
Отказоустойчивость на уровне площадки — пример
Аварийное переключение сервисов между зонами с помощью распределенного кластера
Зона A
Вычислительная
система
Гипервизор
Зона B
Распределенный кластер
Ввод-вывод
Гипервизор
Вычислительная
система
Ввод-вывод
Сеть хранения данных
Fibre Channel
Сеть хранения данных
Fibre Channel
Виртуальный том
Устройство
виртуализации
Устройство
виртуализации
FC/IP
Пул хранения
Уровень
виртуализации
ISM v3 Module 12: Introduction to Business Continuity
Система
хранения
данных
Том
Том
Система
хранения
данных
ISM v3 модуль 4: интеллектуальные системы хранения
374
Обзор отказоустойчивых приложений
Приложения следует проектировать таким образом, чтобы
внезапная недоступность ИТ-ресурсов не сказалась на их работе
для обеспечения необходимой доступности.
Отказоустойчивые приложения включают логику для обнаружения
и обработки условий кратковременного сбоя для предотвращения
простоя приложения.
Основные стратегии проектирования приложений для повышения
доступности:
◦ постепенное снижение производительности приложения;
◦ логика возобновления в коде приложения;
◦ модель сохранения состояния приложения.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
376
Основные стратегии проектирования приложений для
повышения доступности
Постепенное снижение
производительности
Логика обнаружения сбоев и
возобновления
Модель сохранения состояния
приложения
• Приложение сохраняет ограниченную
функциональность даже
в случае недоступности некоторых
модулей или обслуживающих
сервисов.
• Недоступность определенных
компонентов или модулей приложения
не приведет к завершению его работы.
• Означает механизм, который внедряет
логику
в код приложения для повышения
доступности.
• Используется для обнаружения
временно недоступных сервисов и
возобновления их работы.
• Информация о состоянии приложения
хранится на дисках.
• Хранится в репозитории данных.
• Если работа экземпляра завершается
со сбоем, информация о состоянии
сохранится в репозитории.
• Может успешно возобновить работу
сервиса.
ISM v3 Module 12: Introduction to Business Continuity
ISM v3 модуль 4: интеллектуальные системы хранения
378
Введение в резервное копирование и восстановление
Резервное копирование
Дополнительная копия производственных данных, которая создается и находится на
длительном хранении исключительно в целях восстановления потерянных или поврежденных
данных.
Как правило, для данных приложений и конфигураций серверов создается резервная копия для
восстановления данных и серверов в случае сбоя
Кроме того, в бизнесе применяются решения для резервного копирования, чтобы соответствовать
требованиям законодательства
Для внедрения успешного решения для резервного копирования и восстановления
◦ ИТ-службам необходимо оценить методы резервного копирования, а также учесть замечания по
резервному копированию и требования к срокам хранения
ISM v3 модуль 4: интеллектуальные системы хранения
380
Основные задачи резервного копирования
Аварийное восстановление
◦ восстанавливает операционное состояние
после аварии
Авария
Операционное восстановление
◦ активирует восстановление в случае потери
данных или повреждения логической
структуры
Операционная ошибка
Долгосрочное хранение данных
◦ сохраняет записи, необходимые в
соответствии с требованиями
законодательства
Долгосрочное
сохранение
ISM v3 модуль 4: интеллектуальные системы хранения
382
Архитектура резервного копирования
Сервер
резервного
копирования
Данные
отслеживания
Гипервизор
Клиенты
резервного
копирования
Облако
Данные
резервного
копирования
Узел СХД
Данные
резервного
копирования
Основные компоненты резервного копирования
Устройство
резервного
копирования
◦ Клиент резервного копирования
◦ Сервер резервного копирования
◦ Узел СХД
◦ Устройство резервного копирования (система назначения резервного
копирования)
ISM v3 модуль 4: интеллектуальные системы хранения
384
Системы назначения резервного копирования
Система назначения
резервного копирования
Описание
•
Ленточная библиотека
Дисковая библиотека Disk
Library
Виртуальная ленточная
библиотека
•
•
•
Ленты переносные и поэтому могут использоваться для хранения на удаленной площадке в
течение длительного времени
Должна храниться в местоположениях с управляемой средой
Не оптимизирована для распознавания дублированного содержания
Целостность данных и возможность их восстановления — основные проблемы ленточных
средств резервного копированияNAS head
•
•
•
Улучшенная производительность резервного копирования и восстановления
Отсутствует встроенная поддержка удаленной площадки
Устройство для резервного копирования на диски включает в себя такие функциональности, как
дедупликация, сжатие, шифрование и репликация для выполнения задач бизнеса
•
•
Диски эмулируются и представляются ПО для резервного копирования в виде лент
Не требует установки дополнительных модулей или внесения изменений в устаревшее ПО для
резервного копирования
Предоставляет более высокую производительность и надежность по сравнению с физической
лентой
Не требует выполнения обычных задач технического обслуживания, связанных с физическим
ленточным носителем (например, периодическая чистка и калибровка диска)
•
•
ISM v3 модуль 4: интеллектуальные системы хранения
386
Операция резервного копирования
Клиенты
резервного
копирования
Гипервизор
3б
1
2
Сервер резервного копирования извлекает связанную
с резервным копированием информацию из каталога
резервного копирования.
3а
Сервер резервного копирования дает узлу хранения
команду загрузить носители резервных копий на
устройство резервного копирования.
3б
Сервер резервного копирования инструктирует клиенты
резервного копирования, чтобы они отправляли данные
для резервного копирования в узел хранения.
4
Клиенты резервного копирования отправляют данные
в узел хранения и обновляют каталог резервного
копирования на сервере резервного копирования.
5
Узел хранения отправляет данные на устройство
резервного копирования.
6
Узел хранения отправляет метаданные и сведения о
носителях на сервер резервного копирования.
7
Сервер резервного копирования обновляет каталог
резервного копирования.
4
3а
Сервер
резервного
копирования
Сервер резервного копирования инициирует
запланированный процесс резервного копирования.
4
5
2
7
1
Узел СХД
6
Устройство
резервного
копирования
«Холодное» и «горячее» резервное
копирование — два метода для развертывания в
среде резервного копирования
ISM v3 модуль 4: интеллектуальные системы хранения
388
Операция восстановления
Клиенты
резервного
копирования
1
Клиент резервного копирования отправляет на
сервер резервного копирования запрос на
восстановление данных.
2
Сервер резервного копирования сканирует каталог
резервного копирования,
чтобы определить, какие данные нужно восстановить и
какой клиент получит данные.
3
Сервер резервного копирования дает узлу хранения
команду
загрузить носители резервных копий на устройство
резервного копирования.
4
После этого данные считываются и отправляются в
клиент резервного копирования.
Гипервизор
4
1
3
2
6
Сервер
резервного
копирования
4
Узел СХД
5
Устройство
резервного
копирования
5
6
Узел хранения отправляет восстановленные метаданные
на сервер резервного копирования.
Сервер резервного копирования обновляет каталог
резервного копирования.
390
Детализация резервного копирования
Полное резервное
копирование
Инкрементное резервное
копирование
Резервное копирование
накопленных изменений
Полное резервное копирование
Инкрементное резервное копирование
Резервное копирование накопленных изменений (дифференциальное)
Синтетическое резервное
копирование
Прогрессивноинкрементное резервное
копирование
Объем данных резервного
копирования
ISM v3 модуль 4: интеллектуальные системы хранения
392
Основные замечания по резервному копированию и
восстановлению
Для выполнения резервного копирования требуется интеграция между приложениями резервного
копирования и сервером управления виртуальной среды
Знания о приложениях
◦ решения для резервного копирования должны интегрироваться с несколькими типами бизнесприложений, включая приложения третьей платформы
Операции резервного копирования и восстановления должны быть автоматизированы
◦ защита на основе политик
Необходимость поддержки дедупликации и применения техник оптимизации глобальной сети
◦ чтобы оптимизировать инфраструктуру резервного копирования и снизить затраты
◦ чтобы предоставить расширенные сроки хранения резервных копий
ISM v3 модуль 4: интеллектуальные системы хранения
394
Основные замечания по резервному копированию и
восстановлению (продолжение)
Требования к резервному копированию могут отличаться для разных услуг в
зависимости от целевого времени восстановления (RTO) и целевой точки
восстановления (RPO)
◦ для соответствия требованиям необходимы хорошо продуманные стратегии резервного
копирования
Поддержка восстановления данных по требованию на уровне файлов и ВМ
Решение для резервного копирования должно поддерживать безопасный
многопользовательский режим
Централизованное управление средой резервного копирования и восстановления
◦ должно предоставлять единый интерфейс управления;
◦ должно предоставлять создание отчетности по распределению расходов между подразделениями
и анализ затрат, связанных с резервным копированием
ISM v3 модуль 4: интеллектуальные системы хранения
396
Причины использования дедупликации данных
Требования к емкости повышаются с
каждым годом — возрастают затраты
на хранение
Данные распределяются по удаленным
расположениям в целях аварийного
восстановления — требуется огромная
полоса пропускания сети
Сокращение окон резервного
копирования в связи с необходимостью
круглосуточной доступности услуг
Ограниченный
бюджет
Ограниченное окно
резервного
копирования
Ограничение полосы
пропускания сети
Более длительный
период хранения
Согласно требованиям
законодательства, данные необходимо
хранить более длительный период
времени
398
Общие сведения о дедупликации данных
Дедупликация данных
Процесс обнаружения и определения уникальных сегментов данных для
устранения дублирования в указанном наборе данных
Процесс дедупликации
◦ фрагментация набора данных;
◦ определение дублированного фрагмента;
◦ устранение избыточного фрагмента.
Дедупликация
Дедупликация может выполняться в резервной
копии, а также в продуктивной среде
Эффективность дедупликации выражается в виде
коэффициента дедупликации
Перед выполнением
дедупликации Общее
количество сегментов = 39
После выполнения
дедупликации
Количество
уникальных
сегментов = 3
ISM v3 модуль 4: интеллектуальные системы хранения
400
Факторы, которые оказывают воздействие на
коэффициент дедупликации
Фактор
Описание
Сроки хранения
Чем больше сроки хранения данных, тем вероятнее появление идентичных данных
в резервной копии
Частота выполнения полного
резервного копирования
Чем чаще выполняется полное резервное копирование, тем больше пользы от
дедупликации
Интенсивность изменений
Чем меньше изменений вносится в содержимое между сеансами резервного
копирования, тем эффективнее дедупликация
Тип данных
Чем уникальнее данные, тем меньше будет внутренних дедупликаций
Метод дедупликации
Наибольшее количество дедупликаций в организации обнаруживается с
использованием дедупликации сегментов переменной длины на уровне
фрагментов файлов
ISM v3 модуль 4: интеллектуальные системы хранения
402
Уровни детализации дедупликации
Дедупликация на уровне файлов
◦ Обнаружение и удаление избыточных копий идентичных файлов
◦ Хранится лишь одна копия файла, все остальные копии заменяются ссылкой
на исходный файл
◦ не решается проблема дублирования содержимого файлов
Дедупликация на уровне фрагментов файлов
◦ Разбивка файлов на меньшие сегменты
◦ обнаружение избыточных данных в пределах файлов и между ними
◦ Два метода:
◦ на уровне блоков постоянного размера;
◦ на уровне блоков переменной длины.
ISM v3 модуль 4: интеллектуальные системы хранения
404
Методы дедупликации
Дедупликация на стороне источника
Дедупликация на стороне источника
Дедупликация данных в источнике (клиент
резервного копирования)
A
A
◦ клиент резервного копирования отправляет по сети только
новые или уникальные сегменты
Снижение требуемой емкости хранилища и
нагрузки на сетевую полосу пропускания
Рекомендовано для централизованного резервного
копирования в среде ROBO
Поставщики облачных услуг также могут применять
этот метод при выполнении резервного
копирования из местоположения заказчика в
собственное местоположение
Гипервизор
Сервер приложений
(клиент резервного
копирования)
Сервер
дедупликации
A
Устройство
резервного
копирования
Агент дедупликации
ISM v3 модуль 4: интеллектуальные системы хранения
406
Методы дедупликации (продолжение)
Дедупликация на стороне системы назначения
Дедупликация на стороне
системы назначения
Дедупликация данных происходит на стороне системы
назначения
◦ «на лету»;
◦ после обработки.
Гипервизор
Снятие нагрузки, связанной с процессом дедупликации,
Сервер приложений
с клиента резервного копирования
(клиент резервного
Сервер
дедупликации
копирования)
Необходима достаточная полоса пропускания сети
Устройство
резервного
копирования
Устройство дедупликации
В некоторых внедрениях часть нагрузки дедупликации
переходит на сервер резервного копирования
◦ снижение нагрузки на систему назначения;
◦ улучшение общей производительности резервного
копирования.
ISM v3 модуль 4: интеллектуальные системы хранения
408
Глобальная дедупликация
Единый хэш-индекс совместно используется несколькими
устройствами (узлами)
◦ обеспечение единственного резервного копирования данных в пределах
среды резервного копирования;
◦ более эффективная дедупликация — обеспечение лучшего коэффициента
дедупликации.
Сокращение занимаемых системой хранения площадей и снижение
затрат на хранение
Лучшее решение для среды с большим количеством данных
резервного копирования в пределах нескольких местоположений
ISM v3 модуль 4: интеллектуальные системы хранения
410
Дедупликация данных в системе хранения
Устранение блоков избыточных данных в системе хранения
Все входящие записи данных фрагментируются на блоки
◦ Каждому блоку присваивается значение хэша в зависимости от содержания данных
◦ Каждый такой идентифицированный блок перед записью в систему хранения
сравнивается с существующими блоками
◦ в случае, если этот блок уже существует, блок данных не записывается на диск;
◦ в противном случае блок уникальных данных записывается на диск.
Снижение требуемой емкости системы хранения и совокупной стоимости
владения
Улучшение эффективности использования системы хранения
ISM v3 модуль 4: интеллектуальные системы хранения
412
Основные сведения об архивировании данных
Архивирование данных
Процесс обнаружения и перемещения неактивных данных из текущих
инфраструктурных систем на недорогие уровни хранения данных для длительного
хранения и использования в будущем.
Архив данных — это хранилище, в котором находится фиксированное содержание
Организации устанавливают собственные политики для оценки архивируемых данных
Благодаря архивированию организации могут:
◦ снизить текущие издержки на приобретение системы хранения;
◦ соответствовать нормативным требованиям;
◦ уменьшить сложности резервного копирования, в том числе окно резервного копирования, убирая статические
данные из процесса регулярного потока данных резервного копирования;
◦ использовать эти данные для создания новых стратегий получения прибыли.
ISM v3 модуль 4: интеллектуальные системы хранения
414
Основные требования к решениям для архивирования
данных
Обеспечение автоматизированного архивирования на основе правил (политик)
Обеспечение масштабируемости, подлинности, неизменности, доступности и безопасности
Поддержка одноэкземплярной системы хранения и широкого спектра вариантов онлайн-системы
хранения (дисковая и облачная СХД)
Обеспечение быстрого извлечения архивных данных в случае необходимости
Поддержка обработки различных электронных документов, в том числе сообщений электронной
почты, мгновенных сообщений, файлов
Поддержка функциональностей для индексирования, поиска и создания отчетов
◦ поддержка eDiscovery для выполнения расследований и юридических изъятий
ISM v3 модуль 4: интеллектуальные системы хранения
416
Архитектура решения для архивирования данных
Основные компоненты
Почтовый сервер
◦ Агент архивирования
◦ работает на серверах приложений
Гипервизор
Сеть
◦ Сервер архивирования (система политик)
◦ Устройство хранения архивных данных
Система
хранения
A
◦ отвечает за сканирование данных,
которые могут быть заархивированы
◦ возможность настройки правил
Сервер
архивирования
(система политик)
A
Гипервизор
Файловый сервер
◦ архивные данные могут храниться на
ленте, диске или в облаке
Архивная система
хранения данных
Клиенты
ISM v3 модуль 4: интеллектуальные системы хранения
A
Агент
архивирова
ния
418
Система хранения данных с адресацией по содержанию
(Content Addressed Storage, CAS) — решение для
архивирования
Система хранения данных с адресацией по содержанию (CAS) — это особый тип
объектных систем хранения, предназначенных для хранения фиксированного
содержания
Предоставляет онлайн-доступ к архивным данным
Каждый объект имеет глобально уникальный идентификатор, именуемый как «адрес
содержания» (CA)
◦ CA формируется на основе двоичного представления данных
Можно получить доступ к устройству CAS, используя программный интерфейс (API)
CAS на сервере приложений
Позволяет организации соблюдать необходимые соглашения об уровне
обслуживания
ISM v3 модуль 4: интеллектуальные системы хранения
420
Основные сведения о репликации
Репликация
Процесс создания точной копии (реплики) данных для обеспечения непрерывности
бизнеса в случае локального простоя или аварии.
Реплики используются для
восстановления и перезапуска
операций в тех случаях, когда
происходит потеря данных
Данные могут реплицироваться в
одно или несколько местоположений
в зависимости от бизнес-требований
Облако
Репликация данных
Система хранения (источник)
Система хранения (реплика)
ISM v3 модуль 4: интеллектуальные системы хранения
422
Основные области использования реплик
Использование реплики
Описание
Альтернативный источник для
резервного копирования
Реплика может использоваться в качестве источника для выполнения операций
резервного копирования, чтобы снять с производственных томов рабочую нагрузку
ввода-вывода при резервном копировании
Быстрое восстановление и
перезапуск
• Реплика используется для восстановления данных, а также позволяет
перезапустить в ней производственную среду в тех случаях, когда
производственный том недоступен
• Обеспечивает минимальное целевое время восстановления (RTO) по сравнению с
восстановлением из резервных копий на ленте
Деятельность по поддержке
принятия решений
Создание отчетов с использованием данных, хранящихся в репликах, значительно
снижает нагрузку ввода-вывода на производственное устройство
Платформа тестирования
Реплики также используются для тестирования новых приложений или для
модернизации
Миграция данных
Реплики используются для миграции данных. Миграция данных выполняется по
различным причинам, например, миграция из тома меньшей емкости в том большей
емкости с целью поддержки новых версий приложения
ISM v3 модуль 4: интеллектуальные системы хранения
424
Характеристики и типы реплик
Характеристики реплики
◦ Возможность восстановления и перезапуска
◦ Реплика должна обеспечивать возможность восстановления данных в устройствеисточнике
◦ Перезапуск бизнес-операций из реплики
◦ Согласованность
◦ Обеспечивает удобство использования реплик
◦ Реплика должна быть согласована с источником
Реплика может быть:
◦ копией на определенный момент времени
◦ с отличной от нуля целевой точкой восстановления (RPO);
◦ непрерывной
◦ с близкой к нулю целевой точкой восстановления (RPO).
ISM v3 модуль 4: интеллектуальные системы хранения
426
Методы обеспечения согласованности
Согласованность может достигаться различными способами
Файловая
система
База данных
Автономная
Онлайн
Размонтирование
файловой системы
Очистка буферов вычислительной системы
Закрытие базы данных
a) Использование принципа зависимых операций записи
при вводе-выводе
b) Задержка операций ввода-вывода в источнике перед
созданием реплики
ISM v3 модуль 4: интеллектуальные системы хранения
428
Типы репликации
Описание
•
Локальная репликация
•
•
•
•
•
Удаленная репликация
Относится к репликации данных в пределах одного расположения
•
•
•
•
В центре обработки данных
В системе хранения
Обычно используется для оперативного восстановления данных в случае
потери данных
Может быть реализована в вычислительной системе, системе хранения или по
сети
Относится к репликации данных на удаленные площадки (площадки могут
находиться в разных географических регионах)
Данные могут реплицироваться в синхронном или асинхронном режиме
Помогает снизить риски, связанные с региональными авариями
Позволяет организациям выполнять репликацию данных в облако для целей
аварийного восстановления
Может быть реализована в вычислительной системе, системе хранения или по
сети
ISM v3 модуль 4: интеллектуальные системы хранения
430
Общие сведения о репликации на базе вычислительных
систем
Использует вычислительные ресурсы для выполнения операций
репликации и управления ими
Поддерживает как локальную, так и удаленную репликацию
◦ Локальная репликация
◦ Моментальный снимок файловой системы
◦ Репликация на базе гипервизоров
◦ Моментальный снимок виртуальной машины
◦ Клонирование виртуальной машины
◦ Удаленная репликация
◦ Доставка журналов
◦ Репликация на базе гипервизоров
ISM v3 модуль 4: интеллектуальные системы хранения
432
Локальная репликация: Моментальный снимок файловой
системы
Моментальный снимок
файловой системы
Создает копию файловой системы на
определенный момент времени
◦ Репликация на базе указателей
Использует принцип копирования при
первой записи
Использует битовую карту и карту блоков
Требует небольшой части пространства,
используемого производственной
файловой системой
Метаданные
Производственная
файловая система
Метаданные
Бит
Блок
Метаданные
1-0
1-0
2-0
2-0
1 Данные a
3-1
3-2
2 Данные b
4-1
4-1
3 Данные C
4 Данные D
1 Данные d
2 Данные c
3 Нет данных
4 Нет данных
ISM v3 модуль 4: интеллектуальные системы хранения
434
Локальная репликация на базе гипервизоров Снимок
файловой системы виртуальной машины
Виртуальная машина
выполняет запись сюда
Моментальный снимок 3
(дочерний виртуальный
диск 3)
Измененные блоки
моментального снимка 2 и
базового образа
Моментальный снимок 2
(дочерний виртуальный
диск 2)
Измененные блоки
моментального снимка 1
Измененные блоки
базового образа
Моментальный снимок 1
(дочерний виртуальный
диск 1)
Базовый образ
(родительский виртуальный
диск)
СХД
ISM v3 модуль 4: интеллектуальные системы хранения
436
Локальная репликация на базе гипервизоров
Клонирование виртуальной машины
Клон — это копия существующей виртуальной машины
(родительской ВМ)
◦ MAC-адрес ВМ-клона отличается от MAC-адреса родительской ВМ
Обычно клоны развертываются, когда необходимо получить
множество идентичных ВМ
◦ Сокращает время, необходимое для развертывания новых ВМ
Два типа клонов
◦ Полные клоны
◦ Независимая копия ВМ, которая никак не связана с родительской ВМ
◦ Связанные клоны
◦ Создаются из моментального снимка родительской ВМ
ISM v3 модуль 4: интеллектуальные системы хранения
438
Удаленная репликация: Доставка журналов
Все соответствующие компоненты исходной и целевой баз данных
синхронизируются перед началом репликации
Транзакции в исходную базу данных фиксируются в журналах и
периодически передаются в удаленную вычислительную систему
◦ Удаленная вычислительная система принимает эти журналы и применяет их к
удаленной базе данных
Журналы
Фиксация
транзакций
Площадка-источник
Журналы передаются
по сети
IPсеть
Журналы
Применение
транзакций
Удаленная площадка
ISM v3 модуль 4: интеллектуальные системы хранения
440
Удаленная репликация на базе гипервизоров
Репликация ВМ между площадками
Выполняет репликацию ВМ между основной и удаленной площадками
◦ Необходима начальная синхронизация между источником и целевой системой
◦ Реплицируются только изменения, что снижает загрузку сети
◦ Поддерживается как синхронная, так и асинхронная репликация
Репликация ВМ
Гипервизор
Гипервизор
Площадка-источник
Удаленная площадка
ISM v3 модуль 4: интеллектуальные системы хранения
442
Общие сведения о репликации на базе систем хранения
Операционная среда системы хранения выполняет процесс
репликации
◦ Освобождает вычислительную систему от выполнения процесса репликации
Поддерживает как локальную, так и удаленную репликацию
◦ Локальная репликация
◦ Полная репликация тома (клонирование)
◦ Виртуальная репликация на базе указателей (виртуальный снимок)
◦ Удаленная репликация
◦ Синхронная репликация
◦ Асинхронная репликация
ISM v3 модуль 4: интеллектуальные системы хранения
444
Полная репликация тома (клонирование)
Обеспечивает возможность создавать полные копии (клоны)
исходного тома на определенный момент времени
Начальная полная синхронизация выполняется между исходным
томом и репликой (клоном)
Изменения, вносимые как в источник, так и в реплику, можно
отслеживать с некоторой предварительно определенной
детализацией
◦ Обеспечивает возможность инкрементной ресинхронизации (цели с
источником) или инкрементного восстановления (источника из цели)
◦ Клон должен иметь точно такой же размер, как и исходный том
ISM v3 модуль 4: интеллектуальные системы хранения
446
Виртуальная репликация на базе указателей —
моментальный снимок
Мгновенная виртуальная копия исходного тома
◦ Моментальный снимок — это не настоящий том, он состоит из указателей
◦ Во время его создания никакие данные не копируются
Моментальный снимок немедленно становится доступным после начала сессии
◦ Позволяет вторичной вычислительной системе просматривать копию источника на
определенным момент времени
Для сохранения моментальных снимков на определенный момент времени используются
два механизма — копирование при первой записи (CoFW) и перенаправление при записи
(RoW)
Требует пространства, составляющего небольшую часть от размера исходных томов
◦ Обычно рекомендуется использовать моментальные снимки, если изменения, вносимые в
источник, составляют меньше 30%
ISM v3 модуль 4: интеллектуальные системы хранения
448
Виртуальная репликация на базе указателей —
моментальный снимок
Копирование при первой записи (CoFW)
A’
Место сохранения
Источник
Источник
Целевое виртуальное
устройство
C
C’
Запись в целевое устройство
Место сохранения
Целевое виртуальное
устройство
A
Запись в источник
Запись в источник
При инициировании операции записи в источник в первый
раз после активации сессии репликации:
1. Исходные данные по этому адресу копируются в место
сохранения.
2. Указатель в целевом устройстве обновляется, чтобы
указывать на эти данные в месте сохранения.
3. Наконец, новая операция записи обновляется в
источнике.
Запись в целевое устройство
При инициировании операции записи в целевое устройство в
первый раз после активации сессии репликации:
1. Исходные данные из устройства-источника копируются в
место сохранения.
2. Указатель обновляется, чтобы указывать на данные в
месте сохранения.
3. Перед тем как новая операция записи будет обновлена в
месте сохранения, в этом месте сохранения создается
еще одна копия исходных данных.
ISM v3 модуль 4: интеллектуальные системы хранения
450
Виртуальная репликация на базе указателей —
моментальный снимок
Исходная вычислительная
система
Перенаправление при записи (ROW)
Перенаправляет новые операции записи,
предназначенные для исходного тома, в
резервный том в пуле хранения данных
Повышает общую производительность по
сравнению с методом копирования при
первой записи
Гипервизор
Целевая вычислительная
система
Операции записи
Все операции чтения из
реплики обслуживаются
из источника
Операции чтения
Источник
Моментальный
снимок
Реплика (моментальный снимок) попрежнему указывает на исходный том
◦ Все операции чтения из реплики обслуживаются
из исходного тома
Гипервизор
Новые данные
записываются в
новую область
Резервный том
Пул хранения
ISM v3 модуль 4: интеллектуальные системы хранения
452
Удаленная репликация: Синхронная репликация
Производится операция записи как в источник, так и в удаленную реплику, прежде чем она будет
подтверждена для вычислительной системы
Позволяет перезапустить бизнес-операции на удаленной площадке без потери данных
◦ Обеспечивает практически нулевую целевую точку восстановления (RPO)
Производстве
нная
вычислительн
ая система
1
1.
Гипервизор
2.
3.
4
2
4.
Система
хранения
(целевая)
Система
хранения
(источник)
Операция записи при вводе-выводе принимается
из производственной вычислительной системы в
кэш-память источника и помещается очередь.
Операция записи при вводе-выводе передается в
кэш-память целевой системы хранения.
Целевая система хранения отправляет
подтверждение получения в кэш-память
источника.
Исходная система хранения отправляет
подтверждение в производственную
вычислительную систему.
3
Площадка-источник
Удаленная площадка
ISM v3 модуль 4: интеллектуальные системы хранения
454
Удаленная репликация: Асинхронная репликация
Производится операция записи в источник и немедленно подтверждается для вычислительной
системы
◦ Данные буферизируются в источнике и периодически отправляются на удаленную площадку
◦ Интервалы обновления определяются пользователем
◦ Время отклика на операцию записи в приложении не зависит от задержки канала
◦ Реплика будет отставать от источника на определенный интервал (конечная целевая точка
восстановления (RPO))
Производстве
нная
вычислительн
ая система
1
1.
Гипервизор
2.
2
3.
3
Система
хранения
(целевая)
Система
хранения
(источник)
4.
Операция записи при вводе-выводе принимается
из производственной вычислительной системы в
кэш-память источника и помещается очередь.
Подтверждение получения предоставляется
исходной системой хранения в производственную
вычислительную систему
Операция записи при вводе-выводе передается в
кэш-память целевой системы хранения.
Целевая система отправляет подтверждение в
исходную систему.
4
Площадка-источник
Удаленная площадка
ISM v3 модуль 4: интеллектуальные системы хранения
456
Удаленная репликация: Репликация на несколько
площадок
Данные с площадки-источника реплицируются на несколько удаленных площадок для целей аварийного
восстановления
◦ Защита данных при помощи аварийного восстановления всегда доступна, если происходит авария на одной из площадок
Снижает риски, существующие при репликации с использованием двух площадок
◦ Защита данных при помощи аварийного восстановления невозможна после аварии на исходной или удаленной площадке
Производстве
нная
вычислительн
ая система
Система
хранения
(целевая)
Гипервизор
Удаленная
площадка
Асинхронная репликация с
дифференциальной ресинхронизацией
Система
хранения
(источник)
Синхронная репликация
Система
хранения
(целевая)
Площадка
бункера
Площадка-источник
ISM v3 модуль 4: интеллектуальные системы хранения
458
Репликация по сети: непрерывная защита данных
Непрерывная защита данных обеспечивает возможность восстановления
данных и виртуальных машин на любой предшествующий момент времени
◦ Изменения данных непрерывно фиксируются и хранятся отдельно от производственного
тома
Поддерживает гетерогенные вычислительные платформы и платформы
хранения данных
Поддерживает как локальную, так и удаленную репликацию
◦ Можно также реплицировать данные больше чем на две площадки (репликация на
несколько площадок)
Поддерживает методы оптимизации глобальной сети для снижения
требований к полосе пропускания
ISM v3 модуль 4: интеллектуальные системы хранения
460
Ключевые компоненты непрерывной защиты данных
Том журнала
◦ Содержит все данные, которые изменились для производственного тома с момента начала сессии
репликации
Устройство непрерывной защиты данных
◦ Интеллектуальная аппаратная платформа, на которой запущено программное обеспечение для
непрерывной защиты данных
◦ Управляет как локальной, так и удаленной репликацией
◦ Кроме того, устройство может быть виртуальным, в этом случае программное обеспечение для
непрерывной защиты данных запущено на виртуальных машинах
Разветвитель записи
◦ Перехватывает операции записи из вычислительной системы в производственный том и разделяет
каждую операцию записи на две копии
◦ Может быть реализован на уровне вычислительной системы, фабрики или системы хранения
ISM v3 модуль 4: интеллектуальные системы хранения
462
Операции непрерывной защиты данных: Локальная и
удаленная репликация
1.
Данные «разветвляются» и
отправляются в локальное
устройство непрерывной
защиты данных и в
производственный том
Вычислительн
ая система
Разветвитель записи
2a. Операции записи
подтверждаются устройством
непрерывной защиты данных,
а данные отправляются в
журнал, который в свою
очередь копируется в реплику.
2b. Данные упорядочиваются,
сжимаются и реплицируются в
удаленное устройство.
3. Данные принимаются,
распаковываются и
упорядочиваются.
Гипервизор
Локальное устройство
непрерывной защиты
данных
SAN
Удаленное устройство
непрерывной защиты
данных
WAN/SAN
SAN
5. Данные копируются в
удаленную реплику.
4. Данные
записываются в
журнал.
Производств
енный том
Локальная
реплика
Площадка-источник
Журнал
Журнал
Удаленная
реплика
Удаленная площадка
ISM v3 модуль 4: интеллектуальные системы хранения
464
Непрерывная защита данных на базе гипервизоров
Гипервизор
Защищает локально или удаленно одну или
несколько виртуальных машин
Обеспечивает возможность восстановления
ВМ на любой момент времени
Разветвитель
записи
SAN
Виртуальное устройство работает в
гипервизоре
Разветвитель записи встроен в гипервизор
Файлы
дисков ВМ
Файлы
дисков ВМ
Исходный
том
Локальная
реплика
Журнал
Непрерывная защита данных —
локальная репликация
ISM v3. Модуль 14 Репликация
466
Общие сведения о миграции данных
Специализированный метод репликации, перемещающий данные и ВМ из
одной системы в другую
Решения для миграции данных обеспечивают следующие преимущества:
◦ обслуживание центров обработки данных без простоев;
◦ предотвращение простоев при авариях;
◦ обновление технологий;
◦ миграция или консолидация центров обработки данных;
◦ балансировка рабочих нагрузок между центрами обработки данных;
ИТ-службы должны располагать решениями для бесперебойной онлайнмиграции, чтобы обеспечивать требуемую доступность услуг
ISM v3 модуль 4: интеллектуальные системы хранения
468
Миграция данных на базе систем хранения
Перемещает данные между гетерогенными системами хранения
◦ Система хранения, выполняющая операции миграции, называется управляющей
системой хранения
Отправка: данные отправляются из управляющей системы в удаленную систему
Извлечение: данные извлекаются из удаленной системы в управляющую систему
Управляющее
устройство
Отправка
Удаленное
устройство
SAN
Извлечение
Управляющая система
хранения
Удаленная система
хранения
ISM v3 модуль 4: интеллектуальные системы хранения
470
Миграция данных на базе устройств виртуализации
Вычислительная
система
Уровень виртуализации управляет миграцией
данных
◦ Позволяет томам оставаться в режиме онлайн и
сохранять доступность для вычислительной системы в
процессе миграции данных
Гипервизор
Виртуальн
ый том
Поддерживает миграцию данных между
гетерогенными системами хранения различных
производителей
Поставщик услуг может реализовать миграцию
данных пользователей из их системы хранения в
облачную систему хранения
Устройство
виртуализации
Сеть хранения
данных Fibre
Channel
Миграция данных
Том
Том
Система хранения A
Система хранения B
ISM v3 модуль 4: интеллектуальные системы хранения
472
Онлайн-миграция виртуальных машин
Сервисы, запущенные на ВМ, перемещаются из одной физической
вычислительной системы в другую без каких-либо простоев
◦ Позволяет выполнять плановое обслуживание без каких-либо простоев
◦ Упрощает балансировку нагрузки ВМ
Перенесенные ВМ
Сервисы
Миграция ВМ
Вычислительная система 1
Гипервизор
Сервисы
Вычислительная система 2
Гипервизор
Онлайн-миграция ВМ при помощи кластера гипервизоров
Сеть
Система хранения данных
ISM v3 модуль 4: интеллектуальные системы хранения
474
Миграция хранилища виртуальных машин
Осуществляет миграцию файлов дисков ВМ из одной системы хранения в другую без
какого-либо прерывания обслуживания
Позволяет организациям выполнять упреждающую миграцию хранилищ и
динамически оптимизировать производительность операций ввода-вывода в системах
хранения
Вычислительна
я система
Гипервизор
Сеть
ВМ1
ВМ1
Система хранения
данных
Миграция
дисков ВМ
ВМ1
Система хранения
данных
ВМ2
ISM v3 модуль 4: интеллектуальные системы хранения
476
Аварийное восстановление как услуга (DRaaS)
Позволяет организациям иметь площадку для аварийного восстановления в облаке
◦ Поставщик услуг предлагает ресурсы для запуска ИТ-сервисов потребителя в облаке
во время аварии
◦ Модель ценообразования с оплатой за фактическое использование ресурсов
Ресурсы на площадке поставщика услуг могут выделяться одному из потребителей
или использоваться совместно
В процессе обычной работы ИТ-сервисы запущены в производственном центре
обработки данных потребителя
В случае аварии бизнес-операции будут переключены на инфраструктуру
поставщика услуг
ISM v3 модуль 4: интеллектуальные системы хранения
478