ИНФРАСТРУКТУРА EMC ДЛЯ ОБЛАЧНЫХ СРЕД VMWARE EMC Symmetrix VMAX 40 000, EMC Symmetrix FAST VP, EMC SRDF и VMware vSphere 5 EMC Solutions Group © Корпорация EMC, 2012 г. Все права защищены. 1 Программа Обзор решения и применяемых технологий Сведения о конфигурации Развертывание системы хранения на базе VMAX 40 000 с Unisphere for VMAX Виртуализация и профили приложений Валидация и тестирование Преимущества решения и краткие итоги © Корпорация EMC, 2012 г. Все права защищены. 2 Обзор решения и применяемых технологий © Корпорация EMC, 2012 г. Все права защищены. 3 Бизнес-обоснование: поддержка всех ваших критически важных приложений и баз данных; обеспечение необходимой производительности на производственной и удаленной площадках с помощью технологии FAST VP, а также координации FAST VP и SRDF; снижение времени, затрачиваемого на управление ресурсами хранения, благодаря использованию Unisphere for VMAX; повышение окупаемости инвестиций: максимальное использование ресурсов хранения уровней 1, 2 и 3 в объединенной многоуровневой системе хранения. © Корпорация EMC, 2012 г. Все права защищены. 4 Представляем Symmetrix VMAX 40 000 Новинка Больше, лучше, быстрее – Двукратное увеличение производительности и емкости. Добавлена поддержка новых 2,5дюймовых дисков SAS – 400 дисков в стандартном шкафе 24U. Рассредоточение системных отсеков – Гибкое расширение в центрах обработки данных с ограниченной площадью. © Корпорация EMC, 2012 г. Все права защищены. 5 Высокая масштабируемость и консолидация Новинка Модуль 1 Высокая горизонтальная масштабируемость Трансформируйте свою гибридную облачную среду © Корпорация EMC, 2012 г. Все права защищены. VIRTUAL MATRIX До 8 модулей 6 Обзор решения Развертывание нескольких критически важных приложений баз данных в частном облаке VMware на базе массива VMAX 40 000, работающего под управлением ОС Enginuity 5876 и оптимизированного с помощью технологии FAST VP. Защита данных на площадках обеспечивается репликацией EMC SRDF. Моделирование высокоактивной среды базы данных заказчика, обслуживающей приложения уровня 1. Оперативные транзакционные базы данных • Oracle Database 11g R2 • SAP ERP 6.0 EHP 4 • Microsoft SQL Server 2012 Хранилище данных • Microsoft SQL Server 2012 © Корпорация EMC, 2012 г. Все права защищены. 7 Обзор решения (продолжение) Управление, мониторинг и оптимизация с помощью ПО Unisphere for VMAX: – упрощенное управление массивами с использованием функции FAST VP “Allocation by Policy” (распределение в соответствии с политикой); – гарантированная производительность, обеспечиваемая в сценариях аварийного восстановления технологией FAST VP с учетом SRDF (в ОС Enginuity 5876) с постоянной автоматизированной настройкой ресурсов хранения для приложений на производственной площадке и на площадке для аварийного восстановления. Виртуализация с помощью VMware vSphere 5 обновление 1. © Корпорация EMC, 2012 г. Все права защищены. 8 Архитектура и конструкция решения Конфигурация каждой площадки включает два сервера ESXi. Oracle, SAP и SQL Server развернуты на виртуальных машинах. Массивы хранения EMC VMAX 40 000 оптимизированы с помощью технологии FAST VP. Защита данных обеспечивается SRDF/S. Сеть Fibre Channel SAN 8 Гбит/с, работающая между хостами и площадками. Сетевое подключение Ethernet 1 Гбит/с между хостами и площадками. © Корпорация EMC, 2012 г. Все права защищены. 9 Оборудование решения Компонент Количество Конфигурация Массив хранения данных 2 EMC Symmetrix VMAX 40 000, включающий: • 3 модуля; • кэш-память объемом 384 ГБ; • 32 флэш-диска емкостью 200 ГБ; • 126 дисков FC 600 ГБ 10 000 об/мин; • 64 диска FC 450 ГБ 15 000 об/мин; • 72 диска SATA 2 ТБ 7200 об/мин. Серверы VMware ESXi (производственная виртуальная среда) 2 Сервер ESXi, включающий: • 8 десятиядерных процессоров Intel Xeon E7 с частотой 2,4 ГГц; • ОЗУ объемом 1 ТБ; • 2 HBA-адаптера Brocade 825 с двумя портами FC 8 Гбит/с. Серверы VMware ESXi (виртуальная среда аварийного восстановления) 2 Сервер ESXi, включающий: • 4 десятиядерных процессора Intel Xeon E7 с частотой 2,4 ГГц; • ОЗУ объемом 128 ГБ; • 2 сетевых карты 1 Гбит/с; • 2 конвергентных сетевых адаптера 10 Гбит/с. Коммутаторы Fibre Channel 2 Коммутатор класса директор Brocade DCX 4S FC 8 Гбит/с Коммутаторы Ethernet 2 Коммутаторы Ethernet 1 Гбит/с © Корпорация EMC, 2012 г. Все права защищены. 10 Программное обеспечение решения Программное обеспечение Версия Версия операционной среды EMC Symmetrix VMAX Enginuity 5876 EMC PowerPath PowerPath/VE V5.7 for VMware EMC Unisphere for VMAX 1.0 EMC Solutions Enabler 7.4 VMware vSphere ESXi 5 обновление 1 Приложения SAP ERP 6 EHP 4 Oracle ASM Lib 2.0.5 Oracle Database 11gR2 11.2.0.3 SQL Server 2012 RTM Операционные системы Windows Server 2008 R2 SuSE Enterprise Linux 11 Red Hat Linux 5.7 Тестовые средства моделирования рабочей нагрузки SQL Server 2012: Набор инструментов MSTPCE (OLTP) и Quest BMF (DSS/DW) Oracle: SwingBench 2.3 HP LoadRunner 9.52 Build 3188 © Корпорация EMC, 2012 г. Все права защищены. 11 Ключевые технологические компоненты Компоненты EMC: – – – – – – Symmetrix VMAX 40 000 с ОС Enginuity 5876; Unisphere for VMAX; Symmetrix Remote Data Facility (SRDF); Координация Symmetrix FAST VP с SRDF; PowerPath/VE; VMware Storage Integrator (VSI). Приложения – Oracle Database 11g R2 Enterprise Edition; – Microsoft SQL Server 2012; – SAP ERP 6.0 EHP 4. © Корпорация EMC, 2012 г. Все права защищены. 12 Массив Symmetrix VMAX 40 000 с операционной средой Enginuity 5876 Корпоративный массив хранения данных высшего класса с простой, интеллектуальной и модульной конструкцией, которая позволяет легко и с минимальными затратами расширить его из конфигурации начального уровня до самого крупного в мире массива хранения. Новые варианты конфигурации высокой плотности с 2,5-дюймовыми флэш-дисками, а также дисками FC и SAS – – увеличение количества дисков на 33% при той же занимаемой площади; увеличение производительности на ватт. Виртуальное выделение ресурсов обеспечивает бесперебойное «тонкое» выделение ресурсов по требованию. Технология FAST VP автоматизирует многоуровневое хранение данных на уровне элементов логических модулей. Координация FAST VP и SRDF обеспечивает необходимую производительность на площадках для аварийного восстановления. Объединенная многоуровневая система хранения обеспечивает максимальную окупаемость инвестиций в системы хранения уровней 1, 2 и 3. Возможности создания компактных снимков файловой системы с помощью функции TimeFinder VP SNAP. Упрощенные настройка и управление с помощью ПО Unisphere for VMAX. ФЛЭШ-ДИСКИ ДИСКИ FC ДИСКИ SATA © Корпорация EMC, 2012 г. Все права защищены. 13 Обзор EMC Virtual Provisioning Увеличение коэффициента использования ресурсов хранения. Снижение сложности и издержек выделения ресурсов хранения. Автоматизация процессов для простого наращивания ресурсов хранения. ESXi 1 10 ТБ ESXi 2 10 ТБ ESXi 3 10 ТБ 4 ТБ 3 ТБ 3 ТБ Физическое выделение ресурсов Общий пул хранения данных Избыточное выделение ресурсов хранения для продления жизненного цикла приложения без предварительного выделения всех физических ресурсов хранения. Наращивание емкости по требованию и без прерывания работы. Автоматическая повторная балансировка «тонких» пулов для поддержания производительности. Упрощение управления системой хранения с помощью Unisphere for VMAX. © Корпорация EMC, 2012 г. Все права защищены. 14 Обзор EMC Symmetrix FAST VP Флэш-диски Диски FC Автоматизированное многоуровневое хранение для «тонких» пулов Virtual Provisioning. Анализ и перемещение данных на уровне элементов логических модулей: – – Диски SATA – распределение данных одного «тонкого» устройства между несколькими пулами; размещение самых активных частей логического модуля на высокопроизводительных флэш-дисках; размещение менее активных частей логического модуля на более экономичных и емких дисках FC или SATA. Перемещение данных на уровень группы экстентов (7680 КБ). • Значительное упрощение управления системой хранения. • Оптимизация производительности. • Повышение эффективности хранения данных. Перемещение данных на основе правил, определяемых пользователем, и требований к производительности приложений. Автоматическое перемещение данных без прерывания работы. Symmetrix VMAX с технологией FAST VP — перемещение требуемых данных в требуемое место и в требуемое время © Корпорация EMC, 2012 г. Все права защищены. 15 Компоненты системы Symmetrix FAST VP Уровень хранения данных: набор из одного или нескольких виртуальных пулов, содержащих устройства с единым типом технологии, скоростью вращения дисков и уровнем защиты RAID. Группа хранения данных: логическое объединение устройств хранения данных для общего управления ими. Политики FAST: набор правил использования уровней, применяемых к связанным с ними группам хранения данных. Политика назначает верхний предел использования для каждого уровня, определяя, какая часть данных группы хранения может находиться на данном уровне. © Корпорация EMC, 2012 г. Все права защищены. Администраторы могут задавать: • Высокопроизводительные политики, которые в большей мере используют емкость флэшдисков для критически важных приложений. • Экономичные политики, которые в большей мере используют емкость дисков SATA для менее важных приложений. 16 Координация FAST VP и SRDF Функциональность FAST VP непрерывно отслеживает и корректирует размещение данных на производственной площадке. Статистические данные о производительности собираются на обеих площадках, и каждый час происходит обмен этими данными. Решения о размещении данных принимаются на обеих площадках с использованием данных с активной площадки. Координация Symmetrix VMAX с FAST VP и SRDF — перемещение требуемых данных в требуемое место и в требуемое время на производственной площадке и на площадке аварийного восстановления © Корпорация EMC, 2012 г. Все права защищены. 17 Сведения о конфигурации © Корпорация EMC, 2012 г. Все права защищены. 18 Конфигурация системы хранения — виртуальные пулы Имя «тонкого» пула Емкость диска / технология / скорость вращения шпинделя Защита RAID Количество дисков Размер TDAT Количество устройств DATA (TDAT) Емкость пула FLASH_3RAID5 Флэш-диски 200 ГБ RAID 5 (3+1) 32 68,8 ГБ 64 4,2 ТБ FC10K_RAID1 Диски FC 600 ГБ 10 000 об/мин RAID1 126 66 ГБ 504 32 ТБ FC15K_RAID1 Диски FC 450 ГБ 15 000 об/мин RAID1 64 49,2 ГБ 256 12,2 ТБ SATA_6RAID6 Диски SATA 2 ТБ 7200 об/мин RAID 6 (6+2) 72 240 ГБ 256 60 ТБ © Корпорация EMC, 2012 г. Все права защищены. 19 Использование виртуальных пулов приложениями SAP, Oracle и MS SQL OLTP совместно используют пулы флэш-дисков, дисков FC и SATA. Приложение MS SQL DSS использует общий пул дисков SATA совместно со всеми приложениями, но связано с отдельным пулом дисков FC. © Корпорация EMC, 2012 г. Все права защищены. 20 Использование внешних портов Назначение выделенных внешних портов приложениям с высокой интенсивностью операций записи с целью обеспечения устойчивой производительности. Общий трафик проходит через общие порты. PowerPath/VE управляет балансировкой нагрузки и аварийным переключением на резервный ресурс. © Корпорация EMC, 2012 г. Все права защищены. 21 Настройка FAST VP Функциональность FAST VP может быть либо включена, либо отключена. Для параметра Data Movement должен быть установлен автоматический режим. Параметр Relocation Rate контролирует степень применения FAST. Новая функция Allocate-by-Policy (распределение в соответствии с политикой) упрощает управление емкостью в средах с «тонким» выделением ресурсов. © Корпорация EMC, 2012 г. Все права защищены. Временные окна Создавайте временные окна, чтобы указать, когда можно собирать данные для анализа производительности и выполнять перемещение данных. Рекомендуется, чтобы окна всегда были открыты. Таким образом FAST VP может использовать данные последнего анализа для оптимизации размещения данных. 22 Настройка FAST VP 1. Создайте уровни FAST VP из виртуальных пулов. 2. Определите политики, указав, сколько процентов будет приходиться на флэшдиски, диски SATA и FC. 3. Примените эти политики к приложению. © Корпорация EMC, 2012 г. Все права защищены. 23 Отчеты по необходимой емкости на каждом уровне (Tier Demand) Упрощение управления емкостью. Какой объем ресурсов хранения используется в данный момент Максимальная потребность групп хранения FAST VP для каждого уровня Показатель Excess GB показывает, сколько свободного пространства осталось на каждом уровне. • Используйте отчеты Tier Demand, формируемые в ПО Unisphere, для мониторинга использования и потребностей уровней хранения данных. © Корпорация EMC, 2012 г. Все права защищены. 24 Развертывание системы хранения на базе массива VMAX 40 000 с использованием Unisphere for VMAX © Корпорация EMC, 2012 г. Все права защищены. 25 Упрощение выделения ресурсов хранения с помощью Unisphere for VMAX • Мастера типовых задач в Unisphere помогают новым пользователям в процессе выделения хостам ресурсов системы хранения. • Подсказки помогают пользователям перейти к следующим шагам, обеспечивая интуитивно понятный процесс выполнения задач и обучения. © Корпорация EMC, 2012 г. Все права защищены. 26 Каскадные группы хранения данных Новая функция в версии 5876 предоставляет возможность вкладывать несколько групп хранения в единое представление маскирования. Упрощает настройку FAST VP в виртуальных средах. Несколько приложений внутри единого представления маскирования управляются с помощью собственной группы хранения и политики FAST. Упрощение мониторинга и управления на уровне приложений. © Корпорация EMC, 2012 г. Все права защищены. 27 Активация координации FAST VP в группах хранения При включении этой функции FAST VP пересылает статистику использования устройства с площадки R1 на площадку R2, чтобы механизм FAST на резервной площадке (площадке аварийного переключения на резервный ресурс) имел актуальные метрики, на которых можно основывать решения. Эту функцию можно включить на странице управления группой хранения в Unisphere: – Флажок: Enable FAST VP RDF Coordination. Координация должна быть включена в группах хранения на обеих системах VMAX — исходной и целевой. © Корпорация EMC, 2012 г. Все права защищены. 28 Виртуализация и профили приложений © Корпорация EMC, 2012 г. Все права защищены. 29 Настройка VMware Сокращение очереди ожидания на HBA-адаптере для серверов vSphere ESXi за счет изменения глубины очереди – esxcli system module parameters set -p bfa_lun_queue_depth=64 -m bfa Настройка загрузочных логических модулей виртуальных машин на использование адаптера LSI SAS. Адаптеры VMware Paravirtual SCSI (PVSCSI) используются для настройки логических модулей DATA с целью обеспечения высокой производительности. Снимки файловой системы vCenter © Корпорация EMC, 2012 г. Все права защищены. 30 EMC Virtual Storage Integrator и VMAX 40 000 © Корпорация EMC, 2012 г. Все права защищены. 31 Конфигурация приложений Oracle OLTP MSSQL OLTP (подобное TPC-E) 1 экземпляр БД Oracle, 12 виртуальных ЦП с ОЗУ объемом 53 ГБ 2 экземпляра SQL, 16 виртуальных ЦП с ОЗУ объемом 32 ГБ 1 БД для каждой ВМ, емкость 2 ТБ 1 БД для каждой ВМ, емкость 1 ТБ Рабочая нагрузка SwingBench Entry на 400 пользователей, соотношение операций чтения и записи 60:40 Комбинированные рабочие нагрузки для моделирования «горячих» и «теплых» приложений, соотношение операций чтения и записи 85:15 SAP OLTP MSSQL OLAP (DSS, подобное TPC-H) 3 экземпляра SAP ERP 6 IDES EHP 4, 16 виртуальных ЦП с ОЗУ объемом 32 ГБ 1 экземпляр SQL, 32 виртуальных ЦП с ОЗУ объемом 128 ГБ 1 экземпляр БД Oracle емкостью 845 ГБ 1 БД для каждой ВМ, емкость 2 ТБ 1000 пользователей LoadRunner Update + моделирование копии локального клиента, соотношение операций чтения и записи 80:20 2 параллельные нагрузки, 100% операций чтения © Корпорация EMC, 2012 г. Все права защищены. 32 Валидация и тестирование • • • • © Корпорация EMC, 2012 г. Все права защищены. Валидация производительности приложений Оперативная настройка политик Координация с SRDF Аварийное переключение приложений на резервный ресурс с быстрым переводом в рабочий режим 33 Сводные данные по производительности приложений Четыре критически важных приложения с высокой интенсивностью транзакций, выполняющие комбинированные рабочие нагрузки в частном облаке VMware vSphere 5.0, развернутом на базе массива VMAX 40 000. – – – – SAP OLTP; 2 экземпляра SQL Server OLTP; 1 экземпляр хранилища данных SQL Server; Oracle OLTP. © Корпорация EMC, 2012 г. Все права защищены. 34 Политики FAST VP В приведенной ниже таблице изложены подробные сведения о наборе политик FAST VP для нашей базовой конфигурации: Группа хранения данных Имя политики FAST Флэш-диски Диски FC Диски SATA MSSQL1_OLTP MSSQL_OLTP 5% 40% 100% MSSQL2_OLTP MSSQL_OLTP 5% 40% 100% MSSQL_DSS MSSQL_DSS 0% 100% 100% Oracle Oracle 15% 35% 50% SAP SAP 10% 80% 10% Оба приложения MSSQL1 и MSSQL2 используют одну и ту же политику FAST. Политики ограничивают использование уровня флэш-дисков, не позволяя ни одному отдельному приложению стать доминирующем потребителем ресурсов флэш-дисков. © Корпорация EMC, 2012 г. Все права защищены. 35 Валидация сборки — одновременная работа всех приложений Приложение OLTP Oracle Количество серверных транзакций в минуту Среднее время отклика при чтении 97 846 5,5 мс Приложение DSS/OLAP 37 920 10 мс MSSQL 2 139 020 11 мс © Корпорация EMC, 2012 г. Все права защищены. 808 МБ/с MSSQL DSS Приложение MSSQL1 Средняя пропускная способность SAP Количество серверных транзакций в минуту Среднее время отклика диалога 2894,8 929,93 мс 36 Валидация координации FAST VP и SRDF Координация с SRDF: – балансировка в исходной и целевой системе; – аналогичное использование уровней хранения на обеих площадках. Сплошные линии обозначают исходные устройства. Пунктирные линии обозначают целевые устройства. © Корпорация EMC, 2012 г. Все права защищены. 37 Координация с SRDF (продолжение) [root@solenabler1 ~]# symcfg list -tdev -range 426:426 -bound -detail -v -sid 542 Symmetrix ID: 000195700542 Исходный массив Enabled Capacity (Tracks) : 1826068704 Bound Capacity (Tracks) : 1048590 SYMMETRIX THIN DEVICES ---------------------------------------------------------------------Pool Pool Total Bound Flags Total Subs Allocated Written Sym Pool Name ESPT Tracks (%) Tracks (%) Tracks (%) ---- ------------ ----- ---------- ----- ---------- --- ---------- --0426 FC10K_RAID1 F..B 1048590 0 546156 52 1044754 100 FLASH_3RAID5 -.-312924 30 - SATA_6RAID6 -.-186540 18 - Total Tracks ---------- ----- ---------- --- ---------- --1048590 0 1045620 0 1044754 0 [root@solenabler1 ~]# symcfg list -tdev -range 426:426 -bound -detail -v -sid 541 Symmetrix ID: 000195700541 Устройство было сбалансировано по всем уровням с аналогичным распределением на обеих площадках R1 и R2 © Корпорация EMC, 2012 г. Все права защищены. Enabled Capacity (Tracks) : 1826068704 Bound Capacity (Tracks) : 1048590 Массив аварийного восстановления SYMMETRIX THIN DEVICES ---------------------------------------------------------------------Pool Pool Total Bound Flags Total Subs Allocated Written Sym Pool Name ESPT Tracks (%) Tracks (%) Tracks (%) ---- ------------ ----- ---------- ----- ---------- --- ---------- --0426 FC10K_RAID1 F..B 1048590 0 570996 54 1044492 FLASH_3RAID5 -.-352524 34 SATA_6RAID6 -.-120972 12 Total Tracks 100 - - - ---------- ----- ---------- --- ---------- --1048590 0 1045620 0 1044754 00 38 Тестирование аварийного переключения на резервный ресурс Нагрузки приложений выполнялись в течение продолжительного времени на площадке R1, и функциональность FAST VP балансировала группы хранения в обоих массивах. Каналы RDF были разделены для моделирования аварийного переключения на резервный ресурс. SAP и Oracle были перенесены на удаленный сервер ESXi. Осуществлялся мониторинг производительности до и после аварийного переключения на резервный ресурс. Oracle и SAP работают на площадке R1 Oracle и SAP были переключены на аварийный ресурс и работают на площадке R2 © Корпорация EMC, 2012 г. Все права защищены. 39 Тестирование аварийного переключения на резервный ресурс (продолжение) Производительность после аварийного переключения на резервный ресурс на уровне приложений соответствует производительности на производственной площадке. Наблюдаемое количество транзакций в минуту и время отклика были равны. © Корпорация EMC, 2012 г. Все права защищены. 40 Скорость реагирования и гибкость FAST VP В 07:40 политика SQL OLTP была скорректирована, чтобы добавить дополнительные возможности использования флэш-дисков. Через 30 минут производительность возросла. Возросло количество транзакций SQL в секунду и снизилось время отклика. После 2 часов производительность SQL стабилизировалась. Влияния на другие работающие приложения не замечено. © Корпорация EMC, 2012 г. Все права защищены. 41 Преимущества решения и краткие итоги Решение VMAX 40K предоставляет идеальную платформу для критически важных виртуальных приложений баз данных с различными рабочими нагрузками. VMware Storage Integrator от EMC обеспечивает сквозную видимость процессов управления и идентификации устройств VMAX непосредственно из vCenter. Каскадные группы хранения FAST VP благодаря технологии автоматизированного многоуровневого хранения данных значительно упрощают управление средами ESX. Распределение ресурсов в соответствии с политиками позволяет уменьшить объем перемещаемых данных и время, необходимое на балансировку групп хранения FAST VP. FAST VP легко настраивается и оперативно реагирует на изменения. Настраивая политики FAST, можно изменять производительность в соответствии с изменяющимися бизнес-требованиями. Производительность повышается в течение 30 минут без негативного влияния на активные рабочие нагрузки. Координация SRDF с FAST VP обеспечивает должный уровень производительности производственной системы на площадке R2 в среде FAST VP в случае аварийного переключения на резервный ресурс (в одинаковых конфигурациях). Таким образом, FAST VP повышает производительность и позволяет сократить затраты как на производственной площадке, так и на площадке аварийного восстановления. © Корпорация EMC, 2012 г. Все права защищены. 42 Остались вопросы? © Корпорация EMC, 2012 г. Все права защищены. 43