Реализация кластерных технологий средствами Huawei Булыгин О., Модуль-Проекты 一(yat). Пример реализации облачных вычислений в МФТИ (ГУ): 32 узла 2x2630v3/256GB/10GbE/8GFC в 12U E9000v3 1 и отказоустойчивая кеширующая СХД OceanStor 5500, выполняющая роль шлюза 10GbE/FC 二 (yee). Создание линейно масштабируемых программно- управляемых систем хранения данных (FusionStorage/Ceph) 三 (sam). Аппаратные средства Huawei для организации отказоустойчивых решений Национальный Суперкомпьютерный Форум 2015 2 Почему Huawei? Авторитет и рекомендации в области телекоммуникации более 20 лет Практически полный портфель собственных решений для ИТ (инфраструктура, вычисления, хранение, сети, управление…) Перенос технологий 9999 во все охваченные отрасли Высочайший уровень разработок и сопровождения Предсказуемость в партнерстве с РФ Впечатляющие результаты 2014… Национальный Суперкомпьютерный Форум 2015 3 Почему Huawei? Выучить китайский просто: 一 二 三 (yat, yee, sam)… Национальный Суперкомпьютерный Форум 2015 4 Постановка задачи • Минимизация затрат • Ограниченный объем в U • Потребность в большом количестве виртуальных машин/ контейнеров • Агрегация с имеющимся контентом (порядка 200ТБ), хранящегося в СХД различных вендоров В результате проведенного анализа предложений на рынке заказчик выбрал решение на базе блейдсервера Huawei E9000v3 и СХД OceanStor 5500v3 • Динамичное изменение нагрузок • Наличие разнородного интерконнекта (1/10GbE, FC, IB, Myrinet…) • Запросы на HPC Национальный Суперкомпьютерный Форум 2015 5 Описание решения Huawei E9000v3 Huawei OceanStor 5500v3 12U шасси 2* 2U 5500v3, каждый: 2* MM910 модуля управления 25* 600GB eMLC SSD 6* 3kW platinum БП 8* 8GFC, 16*10GE/FCoE 2* 16* 10GE+8* 8GFC Basic SW 2* 16* 10GE Storage efficieny Software suit HyperSnap SmartVirtualization SmartDedupe & SmartCompression 16* 16GB OceanStor HW UltraPath 2* 10GE (на 2 узла) OceanStor ReplicationDirector 32 узла CH140v3, каждый: 2* iE5-2630v3 (8*2.4GHz) Национальный Суперкомпьютерный Форум 2015 6 Huawei E9000v3 общий вид Национальный Суперкомпьютерный Форум 2015 7 Huawei E9000v3 вид сзади Национальный Суперкомпьютерный Форум 2015 8 Структура оборудования 1. Шасси 2. Вычислительные модули 3. Модули вентиляторов 4. Проходные модули 5. Модули коммутации 6. Модули управления 7. Модули блоков питания Национальный Суперкомпьютерный Форум 2015 9 Организация вычислительных модулей 1. Вычислительный узел половинной ширины 2. Вычислительный узел полной ширины 3. Интеллектуальный дисплей шасси Замечание: Вычислительные узлы половинной ширины и полной ширины не могут комбинироваться внутри одной и той же зоны. Национальный Суперкомпьютерный Форум 2015 10 Организация инфраструктуры • 1E, 2X, 3X и 4E – модули коммутации и проходные модули. Для оптимизации раскладки кабелей для проходных модулей рекомендуются 1E и 4E • 1MM и 2MM модули управления • Блоки питания с PSU 1 по PSU 6 • С (1) по (14) вентиляторы Национальный Суперкомпьютерный Форум 2015 11 Логическая архитектура системы Национальный Суперкомпьютерный Форум 2015 12 Вычислительная система Национальный Суперкомпьютерный Форум 2015 13 Система коммутации Национальный Суперкомпьютерный Форум 2015 14 Система управления и электромеханики Национальный Суперкомпьютерный Форум 2015 15 Гибкая настройка вычислительных узлов Свободная комбинация: • Вычислительных узлов с полной шириной • Вычислительных узлов с половинной шириной • Вычислительных узлов с половинной шириной и модулей расширения хранилища половинной ширины • Вычислительных узлов с половинной шириной и компонентов ускорения: GPU, SSD, NVDIMM Национальный Суперкомпьютерный Форум 2015 16 Гибкое расширение ресурсов Национальный Суперкомпьютерный Форум 2015 17 Компоненты ускорения Платы графических процессоров (GPU) и виртуальных технологий GPU в применении к приложениям графической обработки 2D и 3D PCIe SSD платы, ускоряющие операции ввода/вывода хранилищ выше 100K IOPS Интеллектуальные сетевые платы (iNIC), реализующие локальную коммутацию виртуальных машин для увеличения производительности и получения дополнительной безопасности Энергонезависимые модули памяти (NVDIMM), обеспечивающие высокопроизводительное кеширование чтения и записи для создания эффективных по стоимости решений хранения совместно со шпиндельными дисками Национальный Суперкомпьютерный Форум 2015 Вычислительные узлы: 18 CH140v3 • Два узла в лезвии 1/2 ширины, каждый: • 2* i E5-2600v3 c ∀ TDP (до 18 ядер @ 2.3ГГц) • 8* DDR4 DIMM до 512ГБ • 2* Micro SD c RAID1 • 1* 2.5" SATA HDD • Два узла совместно используют 2* Mezz модуля • 5°C - 35°C Национальный Суперкомпьютерный Форум 2015 19 Вычислительные узлы: CH121v3 • Один узел в лезвии ½ширины: • 2* i E5-2600v3 c ∀ TDP (до 18 ядер @ 2.3ГГц) • 24* DDR4 DIMM до 1.5ТБ • 2* 2.5" SSD, SAS/SATA HDD, 2* PCIe SSD , 2* SATA DOM, 2* Micro SD c RAID1, 1* USB 3.0 Disk • 2* PCIe x16 Mezz модуля, 1* PCIe x16 плата полной высоты ½длины • 5°C - 40°C Национальный Суперкомпьютерный Форум 2015 Вычислительные узлы: CH221v3 I/O Exp. 20 • Один узел в лезвии полной ширины: • 2* i E5-2600v3 c ∀ TDP • 16* DDR4 DIMM до 1.0ТБ, Диски как у CH121v3 • 2* PCIe x16 Mezz модуля; a. 6* PCIe плат полной высоты ½длины в 1 слот, b. 1* плата полной высоты и длины в 2 слота и 4* платы полной высоты ½длины в 1 слот, с. 2* платы полной высоты и длины в 2 слота каждая. • 5°C - 40°C Национальный Суперкомпьютерный Форум 2015 Вычислительные узлы: CH222v3 Storage Exp. 21 • Один узел в лезвии полной ширины: • 2* i E5-2600v3 c ∀ TDP • 24* DDR4 DIMM до 1.5ТБ, • 15* 2.5" SSD, SAS/SATA HDD, 2* SATA DOM, 2* Micro SD c RAID1, 1* USB 3.0 Disk • RAID 0, 1, 10, 5, 50, 6 и 60 512МБ /1ГБ RAID • 2* PCIe x16 Mezz модуля; 1* PCIe x16 плата полной высоты и длины. • 5°C - 40°C Национальный Суперкомпьютерный Форум 2015 Вычислительные узлы: CH226v3 Storage Exp. 22 • Один узел в лезвии полной ширины: • 2* i E5-2600v3 c ∀ TDP • 24* DDR4 DIMM до 1.5ТБ, • 6* 3.5“ и 2* 2.5" SSD, SAS/SATA HDD, 2* SATA DOM, 2* Micro SD c RAID1, 1* USB 3.0 Disk • RAID 0, 1, 10, 5, 50, 6 и 60 512МБ /1ГБ RAID • 2* PCIe x16 Mezz модуля; 1* PCIe x8 плата полной высоты ½длины. • 5°C - 40°C Национальный Суперкомпьютерный Форум 2015 Вычислительные узлы: CH240 23 • Один узел в лезвии полной ширины и высоты под 4CPU: • 2/4* i E5-4600v2 c ∀ TDP (до 12 ядер каждый) • 48* DDR3 DIMM до 1.5ТБ, • 8* 2.5" SSD, SAS/SATA HDD • RAID 0, 1, 10, 5, 50, 6 и 60 512МБ /1ГБ RAID • 2* PCIe x16 Mezz модуля; • 5°C - 40°C Национальный Суперкомпьютерный Форум 2015 24 Вычислительные узлы: CH242v3 • Один узел в лезвии полной ширины и высоты под 4CPU: • 2/4* i E7-4800/8800v3 c ∀ TDP (до 18 ядер каждый) • 32* DDR4 (DDR3 для v2) DIMM с 38 каналами 1866/1600ГГц, • 8* 2.5" SSD, SAS/SATA HDD, 2* Micro SD, 1* USB 2.0 Disk • RAID 0, 1, 10, 5, 50, 6 и 60 1ГБ RAID • 4* PCIe x16 Mezz модуля; может поддерживать 2* FHHL PCIe, при применении 2х PCIe некоторые DIMM могут не использоваться • 5°C - 40°C Национальный Суперкомпьютерный Форум 2015 Обзор модулей ввода/вывода E9000 10GE Module GE module CX110 GE switch module CX111 GE switch module CX116 GE pass through Supports TRILL. module 32 x GE downlink ports; 32 x GE pass-through 32 x GE downlink ports; ports 12 x GE + 4 x 10GE 12 x GE + 4 x 10GE uplink uplink ports ports InfiniBand module 40GE Module CX710 40GE converged switch module CX611 InfiniBand switch module CX311 10GE/FCoE converged switch CX310 10GE converged switch module module Supports DCB, TRILL, and FCOE Supports DCB, TRILL, and FCOE (FSB). (FSB/FCF). 32 x 10GE downlink ports; 32 x 10GE downlink ports; 16 x 10GE uplink ports 16 x 10GE + 8 x 8G FC uplink ports CX312 10GE converged switch module CX317 10GE pass through module Supports DCB, TRILL, and FCOE 32 x 10GE pass-through (FSB). ports 32 x 10GE downlink ports; 24 x 10GE uplink ports 16*40GE downlink ports 4* 40GE QSFP+ uplink ports 16 x 4X QDR InfiniBand/4X FDR InfiniBand downlink ports 18 x QDR QSFP/FDR QSFP+ uplink ports Multi-plane module FC Module CX210 8G FC switch module 16 x 8G FC downlink ports; 8 x 8G FC uplink ports (FC Switch ODM from Brocade) Note: Switch modules with CX210 16G FC switch module 16 x 16G FC downlink ports; 8 x 16G FC uplink ports (FC Switch ODM from Brocade) are most popular switch modules. TRILL: Transparent Interconnection of Lots of Links DCB: Data Center Bridging FSB: FIP Snooping Bridge FCF: Fiber Channel Forwarder CX911 multi-plane module 10GE plane: 32 x 10GE downlink ports; 16 x 10GE uplink ports FC plane: 16 x 8G FC downlink ports; 8 x 8G FC uplink ports (FC switch ODM from Qlogic) CX912 multi-plane module 10GE plane: 32 x 10GE downlink ports; 16 x 10GE uplink ports FC plane: 16 x 8G FC downlink ports; 8 x 8G FC uplink ports CX915 multi-plane module (FC Switch ODM from Brocade) 10GE plane: 32 x GE downlink ports; 4 x 10GE + 12 x GE uplink ports FC plane: 16 x 8G FC downlink ports; 8 x 8G FC uplink ports (FC switch ODM from Qlogic) 26 Модули коммутации: CX311 10GE/FCoE Сетевые порты: 16* 10GE SFP+ и 8* 8G FC SFP+ uplink; 2*16* 10GE downlink; стекирование через midplane по 1* 40GE Свойства сетевой среды: L2: VLAN/MSTP/LACP/TRILL/Stack/ IGMP/ Smart Link/Monitor Link L3: RIP/OSPF/ISIS/BGP/VRRP/BFD/ PIM/IPV6 QoS: DCBX/PFC/ETS/ACL/CAR/ DiffServ Security: IPSG/MFF/FSB/DAI/DHCP Snooping/ sFlow/Netstream Ethernet RJ45 copper STP Transceiver GE,1000 Base-T RJ45 connector Ethernet RJ45 copper STP Transceiver GE,1000 Base-T RJ45 connector DAC Cable:10GE Cable with transceivers 1m/3m/5m/7m/10m available FC Optical Transceivers 8G FC,SM or MM,LC connectors 4G FC,SM or MM, LC connectors Управление: 2* RS232 Национальный Суперкомпьютерный Форум 2015 27 Модули коммутации: CX311 10GE/FCoE логическая схема FC forwarder (FCF) выступает в качестве моста между FCoE и FC ASIC коммутатора выступает в роли системной шины (FSB) для FC При необходимости выполняется стекирование через midplane по 1* 40GE Downlink: 16x (2x 10GE) Стекирование в midlplane 1x 40GE 4110GE 10GE switch chip Uplink: 16 x 10GE (*Act as FSB too) Interconnection 8 x 10GE FCOE мост (*Act as FCF) Национальный Суперкомпьютерный Форум 2015 Uplink: 8 x 8G FC 28 Модули коммутации: CX310 10GE Сетевые порты: 16* 10GE SFP+; 2*16* 10GE downlink; стекирование через midplane по 1* 40GE Свойства сетевой среды: L2: VLAN/MSTP/LACP/TRILL/Stack/ IGMP/ Smart Link/Monitor Link L3: RIP/OSPF/ISIS/BGP/VRRP/BFD/ PIM/IPV6 QoS: DCBX/PFC/ETS/ACL/CAR/ DiffServ Security: IPSG/MFF/FSB/DAI/DHCP Snooping/ sFlow/Netstream Ethernet Optical Transceivers SFP+ 10Gb: 10GE, SM or MM,LC connectors SFP 1Gb: GE, SM or MM,LC connectors Ethernet RJ45 copper STP Transceiver GE,1000 Base-T RJ45 connector DAC Cable:10GE Cable with transceivers 1m/3m/5m/7m/10m available Управление: 2* RS232 Национальный Суперкомпьютерный Форум 2015 Модули коммутации: CX312 10GE 29 Сетевые порты: 24* 10GE SFP+ uplink; 2*16* 10GE downlink; стекирование через midplane по 1* 40GE Свойства сетевой среды: L2: VLAN/MSTP/LACP/TRILL/Stack/ IGMP/ Smart Link/Monitor Link L3: RIP/OSPF/ISIS/BGP/VRRP/BFD/ PIM/IPV6 QoS: DCBX/PFC/ETS/ACL/CAR/ DiffServ Security: IPSG/MFF/FSB/DAI/DHCP Snooping/ sFlow/Netstream Ethernet Optical Transceivers SFP+ 10Gb: 10GE, SM or MM,LC connectors SFP 1Gb: GE, SM or MM,LC connectors Ethernet RJ45 copper STP Transceiver GE,1000 Base-T RJ45 connector DAC Cable:10GE Cable with transceivers 1m/3m/5m/7m/10m available Управление: 2* RS232 Национальный Суперкомпьютерный Форум 2015 Проходной модуль: CX317 10GE 30 Сетевые порты: 32* 10GE SFP+ uplink; 32* 10GE downlink; Ethernet Optical Transceivers SFP+ 10Gb: 10GE, SM or MM,LC connectors Национальный Суперкомпьютерный Форум 2015 Модули коммутации: CX710 40GE 31 Сетевые порты: 8* 40GE QSFP+ uplink (6* могут быть преобразованы в 4* 10GE SFP+); 16* 40GE downlink (каждый порт может быть преобразован в 2* 10GE); стекирование через midplane по 2* 40GE Свойства сетевой среды: L2: VLAN/MSTP/LACP/TRILL/Stack/ IGMP/ Smart Link/Monitor Link L3: RIP/OSPF/ISIS/BGP/VRRP/BFD/ PIM/IPV6 QoS: DCBX/PFC/ETS/ACL/CAR/ DiffServ Security: IPSG/MFF/FSB/DAI/DHCP Snooping/ sFlow/Netstream Ethernet Optical Transceivers QSFP+ 40Gb: 40GE, MM,MPO connectors Управление: 2* RS232 Национальный Суперкомпьютерный Форум 2015 Модули коммутации: 32 CX611 Infiniband QDR/ FDR Сетевые порты: 18* QDR/FDR InfiiBand QSFP+ uplink; 16* QDR/FDR InfiiBand downlink; Свойства сетевой среды: multicast forwarding and replication/load balancing/re-route around failed link/VL/SL/SL to VL mapping/SM/SMA/Low latency forwarding/credit based flw control Управление: 2* RS232, внутри полосы IB AOC cables: QDR/FDR, cable with transceivers Prices vary much with different lengths, Please contact HPC team for options. IB Copper Cables: QDR/FDR, cable with transceivers, 1m/3m available Note: The previous CX610 not support copper cables. AOC: Active Optical Cable SM: Single Mode MM: Multi Mode Note:Mixed deployment of multiple kind of cables on QSFP/QSFP+ ports is supported. Национальный Суперкомпьютерный Форум 2015 33 Модули коммутации: CX210 8G FC Сетевые порты: 8* 8G FC SFP+ uplink (4 активированы по умолчанию, еще 4 при приобретении доп. лицензии); 16* 8G FC downlink; Свойства сетевой среды: Brocade FC switch integrated Управление: 2* RS232 FC Optical Transceivers 8G FC,MM,LC connectors 【Only support Brocade brand Transceivers】 Национальный Суперкомпьютерный Форум 2015 34 Модули коммутации: CX220 16G FC Сетевые порты: 8* 16G FC SFP+ uplink (4 активированы по умолчанию, еще 4 при приобретении доп. лицензии); 16* 16G FC downlink; Свойства сетевой среды: Поддержка FC switch и AG режимов (NPV) Коммутирующая способность 384 Gbps (768 Gbps пропускная) Поддержка F_Port, E_Port, N_Port, D_Port, E_Port требует лицензию full fabric Поддержка CoS 2, 3, F Поддержка NPIV, до 25 NPIV на порт Поддержка ISL trunking, до 8*16G FC port trunking, требуется лицензия ISL trunking Поддержка расш. зон (Default zoning, port/WWN zoning, broadcast zoning) FC Optical Transceivers 16G FC,MM,LC connectors 【Only support Brocade brand Transceivers】 Управление: 2* RS232 Национальный Суперкомпьютерный Форум 2015 35 Модули коммутации: CX911 10GE/8G FC Сетевые порты: 16* 10GE QSFP+ uplink, 16*2* 10GE downlink, стекирование через midplane по 2* 40GE; 8* 8G FC SFP+ uplink; 16* 8G FC downlink; Свойства сетевой среды: L2: VLAN/MSTP/LACP/TRILL/Stack/ IGMP/ Smart Link/Monitor Link L3: RIP/OSPF/ISIS/BGP/VRRP/BFD/ PIM/IPV6 QoS: DCBX/PFC/ETS/ACL/CAR/ DiffServ Security: IPSG/MFF/FSB/DAI/DHCP Snooping/ sFlow/Netstream; 4 x GE 1000Base-T (reserved, not in use now) Ethernet Optical Transceivers SFP+ 10Gb: 10GE, SM or MM,LC connectors SFP 1Gb: GE, SM or MM,LC connectors Ethernet RJ45 copper STP Transceiver GE,1000 Base-T RJ45 connector DAC Cable:10GE Cable with transceivers 1m/3m/5m/7m/10m available Qlogic FC Управление: FC Optical Transceivers 8G FC,MM,LC connectors 2* RS232 Национальный Суперкомпьютерный Форум 2015 36 Модули коммутации: CX912 10GE/8G FC Сетевые порты: 16* 10GE QSFP+ uplink, 16*2* 10GE downlink, стекирование через midplane по 2* 40GE; 8* 8G FC SFP+ uplink; 16* 8G FC downlink; Свойства сетевой среды: L2: VLAN/MSTP/LACP/TRILL/Stack/ IGMP/ Smart Link/Monitor Link L3: RIP/OSPF/ISIS/BGP/VRRP/BFD/ PIM/IPV6 QoS: DCBX/PFC/ETS/ACL/CAR/ DiffServ Security: IPSG/MFF/FSB/DAI/DHCP Snooping/ sFlow/Netstream; Ethernet Optical Transceivers SFP+ 10Gb: 10GE, SM or MM,LC connectors SFP 1Gb: GE, SM or MM,LC connectors Ethernet RJ45 copper STP Transceiver GE,1000 Base-T RJ45 connector DAC Cable:10GE Cable with transceivers 1m/3m/5m/7m/10m available Brocade FC Управление: 2* RS232 FC Optical Transceivers 8G FC,MM,LC connectors 【Only support Brocade brand transceivers】 Национальный Суперкомпьютерный Форум 2015 37 Модули коммутации: CX915 GE/8G FC Сетевые порты: 4* 10GE QSFP+ и 4* 12GE uplink, 16*2* GE downlink; 8* 8G FC SFP+ uplink; 16* 8G FC downlink; Свойства сетевой среды: L2: VLAN/MSTP/LACP/TRILL/Stack/ IGMP/ Smart Link/Monitor Link L3: RIP/OSPF/ISIS/BGP/VRRP/BFD/ PIM/IPV6 QoS: ACL/CAR/ DiffServ Security: IPSG/MFF/FSB/DAI/DHCP Snooping/ sFlow/Netstream; Qlogic FC Управление: 2* RS232 RJ45 Cat5 cable Ethernet Optical Transceivers SFP+ 10Gb: 10GE, SM or MM,LC connectors SFP 1Gb: GE, SM or MM,LC connectors DAC Cable:10GE Cable with transceivers 1m/3m/5m/7m/10m available FC Optical Transceivers 8G FC,MM,LC connectors Национальный Суперкомпьютерный Форум 2015 38 Модули коммутации GE: CX110/111 и проходной CX116 CX110 Сетевые порты: 12*GE и 4* 10GE SFP+ uplink, 16*2* 10GE downlink, стекирование через midplane по 2* 40GE; CX111 Сетевые порты: 12*GE и 4* 10GE SFP+ uplink, 16*2* 10GE downlink; Свойства сетевой среды: multicast forwarding and replication/load balancing/re-route around failed link/VL/SL/SL to VL mapping/SM/SMA/Low latency forwarding/credit based flw control Управление: 2* RS232. -------------------------------------- CX116 Сетевые порты: 32*GE uplink, 32* GE downlink; Национальный Суперкомпьютерный Форум 2015 Модули PCIe Mezz 39 тип # Описание Доп. поддержка GE MZ110 NIC с 4*GE 10GE MZ510 CNA с 2*10GE MZ512 CNA с 4*10GE MZ311 ROCE с 4*10GE ROCE (RDMA over Converged Ethernet), драйверы ограничены последними ОС. NPAR, FCOE и пр. не рекомендуется при ROCE 40GE MZ710 NIC с 2*40GE ROCE, VXLAN offload и NVGRE offload. 16G FC MZ220 FC с 2* 16G FC NPIV для FC MIO MZ910 FC с 2* 10GE и 2* 8G FC NPIV для FC IB MZ610 HCA 2*4*IB QDR MZ611 HCA 2*4*IB FDR PCIe connector Midplane connector Национальный Суперкомпьютерный Форум 2015 FCoE, N Port ID virt. (NPIV) поверх FCoE . NIC Partitioning (NPAR), физ. порт может делиться на 4 NPARs. Высокоскоростные соединения E9000 Midplane Midplane The midplane provides three I/O connectors for each half-width compute node. B A 8X MEZZ1 B C Midplan e A C 8X LOM Half-width compute (reserved) node slot Half-width compute node • • • • MEZZ2 Half-width compute node The three I/O connectors on the midplane for each half-width compute node are A, B, and C. LAN on motherboard (LOM) uses connector A. The upper mezz module in slot MEZZ1 uses connector B. The lower mezz module in slot MEZZ2 uses connector C. MEZZ1 C 8X 3X 8X 4E The reserved LOM is fixedly connected to slots 2X and 3X through the midplane. The midplane reserves two SerDes lanes for LOM signals to each slot. • MEZZ1 is fixedly connected to slots 2X and 3X through the midplane. The midplane reserves eight SerDes lanes for MEZZ1 signals to each slot. • MEZZ2 is fixedly connected to slots 1E and 4E through the midplane. The midplane reserves eight SerDes lanes for MEZZ2 signals to each slot. Note: *The signal link channels used for communication in the midplane PCB are called SerDes lanes, which physically are bronze signal wires. Each SerDes lane physically consists of four printed bronze wires (two wires for TX and two wires for RX). The type of signals transmitted in each SerDes lane is determined by the protocol run by the mezz module and related IO module, for example, GE communication complies with 1000Base-KX, and 10GE communication complies with 10GBASE-KR. • A Half-width compute node 2X MEZZ2 B Connector C for MEZZ2 Connector A reserved for LOM 2X 2X Note: The E9000 does not provide LOM now. Connector A is reserved only for expansion in the future. Connector B for MEZZ1 1E Емкость коммутации высокоскоростной E9000 Midplane Plane Number of Compute Node Slots I/O Module Slot Number of SerDes Lanes Reserved on the Midplane Concurrent Directions (Fullduplex RX/TX) Maximum Signal Rate for a Single Direction in a Lane Bandwidth Plane A (reserved for LOM) 16 2X/3X 2 slots x 2 2 10 Gbps (By 10GE: 10 Gbps for a single direction in a lane) *Note: Currently the E9000 compute nodes do not provide LOM. However, the midplane reserves the capability to support 10GE LOM. 1280 Gbps = 16 x (2 x 2) x 2 x 10 Gbps Plane B (MEZZ1) 16 2X/3X 2 slots x 8 2 14 Gbps (By 56 Gbps 4X FDR: 14 Gbps for a single direction in a lane, 4 lanes used for 56 Gbps) 7168 Gbps = 16 x (2 x 8) x 2 x 14 Gbps Plane C (MEZZ2) 16 1E/4E 2 slots x 8 2 14 Gbps (By 56 Gbps 4X FDR: 14 Gbps for a single direction in a lane, 4 lanes used for 56 Gbps) 7168 Gbps = 16 x (2 x 8) x 2 x 14 Gbps ---- ---- ---- ---- = 15.616 Tbps Total ---- The maximum communications bandwidth capacity of the E9000 high-performance midplane is 15.6 Tbps! Note: • The E9000 high performance midplane capacity was claimed 5.76 Tbps before. Please refer to the note on the next page. • We use the conventional calculation formula in the industry: 1. The signal rate for a single lane is calculated based on the highest signal rates supported by the switch module and mezz modules for commercial use. 2. Communications in both two directions are considered in calculation. • Please note that the maximum capacity is supported by the midplane in theory. The actual communications bandwidth is determined by the selected mezz modules and related I/O modules. Матрица совместимости узлов и плат mezz (начало) Blade Type GE Mezz Module 10GE Mezz Module 40GE Mezz Module FC HBA Mezz Module Multi-IO Mezz Module InfiniBand Mezz Module ① MZ110 MZ311⑥ MZ510 MZ512 MZ710 MZ220 MZ910 CH121 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz 2 CH121 V3 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz 2 CH220 CH220 V3 Только Mezz1 Mezz1 /2/3/4 Только Mezz 2/3 ⑦ ② Mezz1 /2/3/4 Только Mezz 2/3⑦ Нет Mezz1 /2/3/4 ② Только Mezz1 Mezz1 /2/3/4 MZ610 ② Mezz1 /2/3/4 Нет MZ611 ② Mezz 2/4 ① Вам предлагается устанавливать модули mezz в слоты 2 и 4 (соответствующие слотам 1E и 4E) для удобства раскладки кабелей из-за высокой плотности и толщины кабелей Infiniband. ② В настройке по умолчанию CH220 слот 2 уже занят (соединением для расширителя стандартного слота PCIe), следовательно для настройки модулей сетевой среды может быть использован только слот 1. ⑥ ROCE (RDMA over Converged Ethernet) является специализированным свойством, поддерживаемым MZ311, 42 однако поскольку поддержка драйверов ОС ограничивается только несколькими новыми последними версиями, не рекомендуется применять MZ311 если нет потребности в ROCE. ⑦ В CH220v3 слоты 1 и 4 являются PCIe x8, а слоты 2 и 3 PCIe x16. Национальный Суперкомпьютерный Форум 2015 Матрица совместимости узлов и плат Mezz (окончание) Blade Type GE Mezz Module MZ110 10GE Mezz Module MZ311⑥ MZ510 CH221 Только Mezz1 MZ512 40GE Mezz Module FC HBA Mezz Module Multi-IO Mezz Module MZ710 MZ220 MZ910 ③ Нет ③ Только Mezz1 InfiniBand Mezz Module MZ610 ③ Mezz 2 ① MZ611 ④(HPC) CH222 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz 2 CH222 V3 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz 2 CH240 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz1 /2 Mezz 2 CH242 Mezz1 /2/3/4 Mezz1 /2/3/4 Mezz1 /2/3/4 Mezz1 /2/3/4 Mezz 2/4 Только Mezz1 ⑤ Mezz1 /2/3/4 Только Mezz1 ⑤ Mezz1 /2/3/4 Mezz1 /2/3/4 Mezz1 /2/3/4 Mezz1 /2/3/4 Mezz1 /2/3/4 Mezz1 /2/3/4 Mezz 2/4 CH242 V3 Mezz1 /2/3/4 ③ В настройке по умолчанию CH221 слот 2 уже занят (соединением для расширителя стандартного слота PCIe), следовательно для настройки модулей сетевой среды может быть использован только слот 1. ④ В проектах HPC при применении CH221 для размещения GPGPU сопроцессоров может применяться настроенная под 43 пользователя конфигурация CH221, только такая конфигурация может использовать 2 слот для применения IB. ⑤ Узлы CH242, выпускаемые начиная с января 2014 могут поддерживать 1*MZ512 или 1*MZ311 плату (Которая должна устанавливаться в 1 слот, CH242v1 не поддерживает MZ512/MZ311). ⑥ ROCE (RDMA over Converged Ethernet) является специализированным свойством, поддерживаемым MZ311, однако поскольку поддержка драйверов ОС ограничивается только несколькими новыми последними версиями, не рекомендуется применять MZ311 если нет потребности в ROCE. Национальный Суперкомпьютерный Форум 2015 Матрица совместимости узла CH140v3 и плат mezz (начало) Тип 44 GE IB Проходной или коммутирующий модуль CX110 / CX111 GE коммутатор с 32* GE портами вовнутрь при 12* GE и 4* 10GE портов вовне Модуль Mezz MZ111 2узла @(2*GE) MZ311 2узла @ (2*10GE) ROCE MZ312 2узла @ (2*10GE) ROCE MZ512 2узла @ (2*10GE) CNA Обычнаяя конф. Да Замечания Выделяется CH140v3, не используется для других лезвий CX110/111 поддерживают связь, но понижают обмен до GE. Не рекомендуется использовать эти комбинации. К тому же поддержка драйверов для MZ311 ограничена только несколькими версиями ОС CX116 32*GE проходных портов MZ111 2узла @(2*GE) CX611 Комм. IB 16* 4* QDR/FDR IB вовнутрь и 18* QDR QSFP/FDR QSFP+ вовне MZ613 2узла @ (1*40G QDR) Да Выделяется CH140v3, не используется для других лезвий MZ612 2узла @ (1*56G QDR) Да Выделяется CH140v3, не используется для других лезвий Выделяется CH140v3, не используется для других лезвий Замечания: Не рекомендуется применять CH140v3 с CX911/912/915 (пустая трата FC коммутатора) 1.Если модуль устанавливается в слот mezz 1, соединения идут в слоты 2X и 3X, если во 2, то используются 1E и 4E. У слотов mezz 1 и 2 одинаковая производительность. 2. Из- за высокой плотности кабелей рекомендуется устанавливать IB, CX116 и CX317 в слоты 1E и 4E. 3. CX310, CX311, CX312, CX110 или CX111 предлагается ставить в слоты 2X и 3X. Национальный Суперкомпьютерный Форум 2015 Матрица совместимости узла CH140v3 и плат mezz (продолжение) Тип 45 10 GE Коммутирующий модуль CX310 CX311 10GE коммутатор с 32* 10GE портами вовнутрь при 16* 10GE портами вовне 10GE коммутатор с 32* 10GE портами вовнутрь при 16*10GE+8* 8G FC порта-ми вовне Модуль Mezz Обычнаяя конф. Замечания MZ111 2узла @(2*GE) Выделяется CH140v3, не используется для других лезвий. CX310 поддерживают связь, но понижают обмен до GE. Не рекомендуется использовать эту комбинацию. MZ311 2узла @ (2*10GE) ROCE CX310 поддерживает связь с MZ311. Однако поддержка драйверов для MZ311 ограничена только несколькими версиями ОС, а также она не поддерживает NPAR. Не рекомендуется ее использовать, если нет потребности в ROCE. MZ312 2узла@(2*10GE) Да MZ512 2@ (2*10GE)CAN Да MZ111 2узла @(2*GE) Выделяется CH140v3, не используется для других лезвий. CX311 поддерживают связь, но понижают обмен до GE и не поддерживает FCoE. Не рекомендуется использовать. MZ311 2узла @ (2*10GE) ROCE CX311 поддерживает связь с MZ311. Однако поддержка драйверов для MZ311 ограничена только несколькими версиями ОС и не поддерживает NPAR, FCoE. Не рекомендуется ее использовать, если нет потребности в ROCE. MZ312 2узла@(2*10GE) CX311 связывается с MZ312.Но MZ312 не поддерживает NPAR, FCoE. Не рекомендуется. MZ512 2@ (2*10GE)CAN Да 10GE/FCoE работает в связи между MZ512 и CX311. FCF в CX311 завершит FCoE и перейдет на FC (см. слайд логическая схема CX311 10GE/FCoE) 5. Если вам нужно больше исходящих 10GE портов, вы можете выбрать CX312 с 24*10GE портами. Комбинирование с mezz платами аналогично CX310. CX312 доступна только для индивидуальных заказов. Национальный Суперкомпьютерный Форум 2015 Матрица совместимости узла CH140v3 и плат mezz (окончание) 46 Тип Проходной модуль 10 GE CX317 10GE проходной модуль с 32* 10GE портами вовнутрь при 32* 10GE портами вовне Модуль Mezz MZ311 2узла @ (2*10GE) ROCE MZ312 2узла @ (2*10GE) MZ512 2узла @ (2*10GE) CNA Обычнаяя конф. Замечания CX317 поддерживает связь с MZ311. Однако поддержка драйверов для MZ311 ограничена только несколькими версиями ОС, а также она не поддерживает NPAR. Не рекомендуется ее использовать, если нет потребности в ROCE. Замечания: Не рекомендуется применять CH140v3 с CX911/912/915 (пустая трата FC коммутатора) 1.Если модуль устанавливается в слот mezz 1, соединения идут в слоты 2X и 3X, если во 2, то используются 1E и 4E. У слотов mezz 1 и 2 одинаковая производительность. 2. Из- за высокой плотности кабелей рекомендуется устанавливать IB, CX116 и CX317 в слоты 1E и 4E. 3. CX310, CX311, CX312, CX110 или CX111 предлагается ставить в слоты 2X и 3X. 5. Если вам нужно больше исходящих 10GE портов, вы можете выбрать CX312 с 24*10GE портами. Комбинирование с mezz платами аналогично CX310. CX312 доступна только для индивидуальных заказов. Национальный Суперкомпьютерный Форум 2015 Пример приложения: организация сетевой среды 10GE/FCoE для CH140v3 MZ512 + CX311 (10GE/FCoE) 47 Рисунок показывает MZ512 в слоте Mezz1, и CX311 в слотах 2X и 3X. Соединение между Mezz2 и CX311 в слотах 1E и 4E выглядит аналогично. Национальный Суперкомпьютерный Форум 2015 Пример приложения: организация сетевой среды 10GE+IB для CH140v3 MZ612, MZ312 + CX611,310 (10GE+IB) 48 Представленное решение не является отказоустойчивым. Для создания отказоустойчивости 10GE добавьте CX310 в слот 3X. Infiniband не предоставляет средств аппаратной отказоустойчивости. Национальный Суперкомпьютерный Форум 2015 Посетите нашу веб- страницу с описанием блейд-системы Huawei E9000v3 http://www.mdl.ru/Solutions/Put.htm?Nme=E9000v3 49 Национальный Суперкомпьютерный Форум 2015 50 Huawei OceanStor 5500v3 вид сзади Национальный Суперкомпьютерный Форум 2015 51 Huawei OceanStor 5500v3 вид спереди, если интересно Национальный Суперкомпьютерный Форум 2015 Шасси контроллеров OceanStor 5000 & 6800 52 2U шасси под 12*3.5” дисков, может использоваться независимо. Применяется для хранилищ OceanStor 5300 & 5500 v3 2U шасси под 25*2.5” дисков, может использоваться независимо. Применяется для хранилищ OceanStor 5300 & 5500 v3 3U шасси контроллеров, может размещать дуальные контроллеры, но не диски, должна использовать дополнительные дисковые полки. Применяется для хранилищ OceanStor 5600 & 5800 v3 6U шасси контроллеров, может размещать до 4х контроллеров, но не может содержать диски, должна использовать дополнительные дисковые полки. Применяется для хранилищ OceanStor 6800 v3 Национальный Суперкомпьютерный Форум 2015 53 Структура 12-дискового шасси контроллера 1. Шасси системы 2. Шасси для дисков 3. Электроснабжающие BBU гарантируют сохранение кеша на дисковые носители при отключении энергоснабжения 4. Контроллер работает как ядро системы и обеспечивает функциональность: • Службы хранения • Обработка настроек и команд пользователя • Сохранение настроек • Доступ к дискам • Хранение ключевой информации по подключенным дискам Национальный Суперкомпьютерный Форум 2015 54 Структура 25-дискового шасси контроллера 1. Шасси системы 2. Шасси для дисков 3. Электроснабжающие BBU гарантируют сохранение кеша на дисковые носители при отключении энергоснабжения 4. Контроллер работает как ядро системы и обеспечивает функциональность: • Службы хранения • Обработка настроек и команд пользователя • Сохранение настроек • Доступ к дискам • Хранение ключевой информации по подключенным дискам Национальный Суперкомпьютерный Форум 2015 55 Структура 3U шасси контроллера 1. Шасси системы 2. BBU гарантируют сохранение кеша на дисковые носители при отключении энергоснабжения 3. Контроллер. Работает как ядро системы и обеспечивает функциональность (каждый контроллер содержит три вентилятора) 4. Модуль электропитания 5. Модуль управления предоставляет порты: USB, сетевого управления, сетевого сопровождения и последовательный 6. Модули интерфейса • 16/8G FC • GE • 10GE 2*FCoE/ TOE (TCP Offload Engine)/ 4*FCoE • 12G SAS • 56G IB • Smart IO • 10GE electrical interface Национальный Суперкомпьютерный Форум 2015 56 Структура 3U шасси контроллера 1.Шасси системы 2.Контроллер. Работает как ядро системы и обеспечивает функциональность (каждый контроллер содержит три вентилятора) 3.BBU гарантируют сохранение кеша на дисковые носители при отключении энергоснабжения 4.Модуль электропитания 5.Модуль управления предоставляет порты: USB, сетевого управления, сетевого сопровождения и последовательный 6.Модули интерфейса • • • • • • • 16/8G FC GE 10GE 2*FCoE/ TOE (TCP Offload Engine)/ 4*FCoE 12G SAS 56G IB Smart IO 10GE electrical interface • Модуль управления с двух сторон каждой платы интерфейса управления расположены два модуля, а именно SMM0 и SMM1 Национальный Суперкомпьютерный Форум 2015 57 Модели дисковых полок 2U дисковая полка для 25*2.5” дисков. Применяется для хранилищ OceanStoage 5300v3, 5500v3, 5600v3, 5800v3, 6800v3 4U дисковая полка для 24*3.5” дисков. Применяется для хранилищ OceanStoage 5300v3, 5500v3, 5600v3, 5800v3, 6800v3 Дисковая полка высокой плотности для 75*3.5” дисков. Применяется для хранилищ OceanStoage 5300v3, 5500v3, 5600v3, 5800v3, 6800v3 Национальный Суперкомпьютерный Форум 2015 58 2U дисковая полка 1. Шасси системы 2. Дисковые модули 3. Модули электропитания 4. Модули расширения обеспечивают связь с шасси контроллера или другой полкой каждый модуль расширения содержит один порт расширения PRI и один порт расширения EXP Национальный Суперкомпьютерный Форум 2015 59 4U дисковая полка 1. Шасси системы 2. Дисковые модули 3. Модули вентиляторов 4. Модули электропитания 5. Модули расширения обеспечивают связь с шасси контроллера или другой полкой каждый модуль расширения содержит один порт расширения PRI и один порт расширения EXP Национальный Суперкомпьютерный Форум 2015 60 Дисковая полка высокой плотности 1. Шасси системы 2. Модули электропитания 3. Модули вентиляторов 4. Модули расширения обеспечивают связь с шасси контроллера или другой полкой каждый модуль расширения содержит один порт расширения PRI и один порт расширения EXP 5. Дисковые модули Национальный Суперкомпьютерный Форум 2015 Архитектура ПО верхнего уровня 61 Национальный Суперкомпьютерный Форум 2015 Архитектура ПО системного уровня 62 Национальный Суперкомпьютерный Форум 2015 ПО контроля функций управления 63 SNMP Система хранения поддерживает управление и настройку на основе SNMP. Пользователи могут применять инструментарий SNMP третьих производителей (помимо ПО Huawei) CLI Для использования интерфейса командной строки при управлении и настройке пользователи могут применять терминальные консоли третьих производителей (помимо средств Huawei), подключившись через последовательный порт или через SSH. Syslog Система хранения может отсылать третьим сторонам предупреждения. Для получения и хранения этой информации используется ПО системных протоколов. Помимо средств Huawei могут быть использованы разработки третьих производителей. Национальный Суперкомпьютерный Форум 2015 ПО управления базовыми функциями 64 (начало) Модуль ПО SCSI Управляет командами состояний SCSI, а также командами SCSI пересылки, решений и процессов. Модуль ПО кеширования Преобразует высокопроизводительную память малой емкости в буфер низкоскоростных дисков большой емкости для многоуровневого хранения и улучшения производительности системы. Основные функции включают кеширование данных, отложенную запись и упреждающее чтение. Модуль ПО SRAID Применяет разбиение данных и их избыточность для высокой производительности, большой емкости и высокой надежности хранимых данных. Обеспечивается широкий диапазон уровней RAID для создания разнообразия в обеспечении высокой надежности и производительности доступа к данным. Национальный Суперкомпьютерный Форум 2015 ПО управления базовыми функциями 65 (окончание) Модуль ПО SPool Логически комбинирует диски из различных шасси в общие дисковые домены, в которых создаются пулы дисков для обеспечения служб хранения. Модуль протоколов файлов Обеспечивает функции совместного использования и резервирования файловой системы. Поддерживает протоколы совместного использования файлов CIFS, NFS, HTTP, и FTP, а также протокол резервных копий NDMP. Модуль управления квотами Обеспечивает управления квотами для совместно используемой файловой системы. Разделяемая файловая система позволяет вам определять максимальную емкость, доступную определенному каталогу. Модуль управления томами файловой системы Реализует виртуализированное управление на основе томов. Национальный Суперкомпьютерный Форум 2015 Дополнительное ПО управления (стр. 1 из 6) 66 Snapshot Обеспечивает функции снимков. Снимок не выполняет полное физическое дублирование, а только представляет исходные данные и размещает представление в таблицах соответствия. Remote replication Предоставляет функции удаленного реплицирования. Они создают дубликат доступных данных практически в режиме реального времени в системе хранения, расположенной в другой области по отношению к локальной системе. Дубликат можно использовать немедленно, не дожидаясь восстановления данных максимально защищая непрерывность обработки и доступность данных. LUN copy Делает возможными функции копирования LUN. Копирует данные LUN источника на LUN адресата в соответствии с требованиями приложений, такими как многоуровневое хранение, обновление приложений и удаленное резервное копирование Национальный Суперкомпьютерный Форум 2015 67 Дополнительное ПО управления (стр. 2 из 6) Clone Предоставляет функцию клонирования. Функция создает полную копию исходных данных в локальной системе хранения. Consistency group Обеспечивает функциональность групп непротиворечивости. Группы непротиворечивости управляют задачами управления удаленными репликациями в пакетах. Любая операция в группе непротиворечивости также применяется к задачам удаленных репликаций в группе, гарантируя согласованность данных посредством таких задач удаленной репликации. SmartQoS Делает возможными функции SmartQoS. SmartQoS управляет производительностью сохранения одного или более LUN и определяет приоритеты качества обслуживания (QoS) критически важных приложений. Национальный Суперкомпьютерный Форум 2015 68 Дополнительное ПО управления (стр. 3 из 6) SmartMotion Предоставляет функцию SmartMotion. На основании анализа состояния службы функция динамично балансирует емкостью и производительностью равномерно распределяя данные по носителям одного типа. SmartPartition Обеспечивает функцию SmartPartition. Данная функция выделяет по запросу ресурсы кеша механизма системы хранения для улучшения QoS для критически важных приложений и привилегированных пользователей. SmartThin Делает доступной функциональность SmartThin. Она достигается путем выделения пространства по запросу. В соответствии с квотой она выделяет пространство хранения для серверных приложений только по мере необходимости, увеличивая использование пространства хранения. Национальный Суперкомпьютерный Форум 2015 69 Дополнительное ПО управления (стр. 4 из 6) SmartTier Предоставляет функциональность SmartTier, которая периодически определяет наиболее часто используемые данные в единицу времени и переводит их с низкоскоростных носителей на высокоскоростные, повышая производительность системы при доступной стоимости. SmartMigration Делает возможной функцию SmartMigration. Она прозрачно перемещает службы с исходного LUN на LUN- получатель без прерывания служб хостов. После миграции LUN получатель может заменить исходный LUN для сопровождения этих служб. SmartVirtualization Обеспечивает функцию SmartVirtualization, которая позволяет локальной системе хранения централизованно управлять ресурсами хранения СХД третьих производителей, упрощая управление системой хранения и снижая затраты на сопровождение. Национальный Суперкомпьютерный Форум 2015 Дополнительное ПО управления 70 (стр. 5 из 6) SmartErase Делает доступной функцию SmartErase, которая многократно удаляет ненужные данные на предписанном LUN, следовательно данные на подлежат восстановлению в случае их утечки. SmartMulti-Tenant Предоставляет функциональность SmartMulti-Tenant. Она делает возможной системе хранения обеспечивать различных владельцев совместно используемыми ресурсами и подразделять доступ и управление владельцев. HyperMirror HyperMirror создает резервные копии в реальном масштабе времени. В случае, когда исходные данные становятся недоступными, приложения могут автоматически использовать копию данных, гарантируя высокий уровень безопасности и непрерывность приложений. Национальный Суперкомпьютерный Форум 2015 71 Дополнительное ПО управления (стр. 6 из 6) SmartDedupe & SmartCompression Выполняет дедупликацию и сжатие. Функция дедупликации применяется для анализа и удаления дублированных данных в системе хранения. Функция сжатия используется для минимизации занимаемого данными пространства. SmartCache Предоставляет функцию SmartCach, которая использует SSD в качестве ресурсов кеширования для значительного продвижения производительности чтения системы, когда случайные, небольшие операции ввода/ вывода с часто используемыми данными требуют больше операций чтения в сравнении с операциями записи. WORM Реализует WORM (Write Once, Read Many) для установки критически важных данных в состояние доступных только для чтения, предотвращая неавторизованное изменение данных и их удаление в течение указанного промежутка времени. Национальный Суперкомпьютерный Форум 2015 ПО, выполняемое на терминалах поддержки 72 (начало) OceanStor Toolkit Помогает инженерам тех. поддержки и сервиса устанавливать, сопровождать и модернизировать устройства. OceanStor Cloud Service Является частью программного обеспечения дистанционного управления и обслуживания, используемое для наблюдения за устройствами, выдачи предупреждений, а также для инспекции устройств. OceanStor SystemReporter Это выделенный инструмент анализа сообщений о производительности и емкости для системы хранения Национальный Суперкомпьютерный Форум 2015 ПО, выполняемое на терминалах поддержки 73 (окончание) ReplicationDirector Обеспечивает защиту данных и аварийное восстановление для серверов приложений на основе связанной с этим дополнительной функциональности системы хранения (синхронных/ асинхронных удаленных репликаций, снимков, копирования LUN и клонирования). Он централизованно управляет требованиями для защиты и аварийного восстановления данных между системой хранения и серверами приложений. UltraPath Программа драйвер СХД, устанавливаемая на сервере приложений. Когда между сервером приложений и СХД установлено множество каналов данных, позволяет выбирать оптимальный канал для доступа сервера приложений к СХД. Более того, является простым и эффективным решением управления путями для надежной передачи данных и высокой безопасности пути. eSDK OceanStor Является разработанной Huawei интегрированной платформой для устройств хранения. Имеет открытые возможности и обеспечивает стандартные интерфейсы и предустановленные плагины. Плагины и производители eSDK OceanStor позволяют СХД взаимодействовать с vCenter и System Center таким образом, что пользователи могут использовать свои уже существующие системы поддержки сетевой среды для управления устройствами хранения Huawei. Национальный Суперкомпьютерный Форум 2015 Техническое описание. Аппаратура. 74 элемент 5300v3 5500v3 Max масштабируемых контроллеров 5600v3 5800v3 6800v3 1250 3200 8 max число дисков 500 750 Конструктивы шасси • • 2U 25*2.5” 2U 12*3.5” Поддерживаемые дисковые полки • • • 2U SAS c 25*2.5” 4U SAS c 24*3.5” 4U SAS c 75*3.5” 1000 3U без дисков 6U без дисков max число дисковых полок: 2U SAS 20 30 40 50 60 4U SAS 20 30 40 50 60 4U SAS HD 6 10 13 16 20 Поддерживаемые типы дисков SSD, SAS ,NL-SAS Поддерживаемые типы интерфейсов с горячей заменой 8/16G FC; GE; 10GE (electrical); 10G TOE (optical); 10G FCoE; 56G IB; SmartIO; 12G SAS Национальный Суперкомпьютерный Форум 2015 Техническое описание. Аппаратура. 75 элемент 5300v3 max интерфейс. модулей с гор. заменой Длина SAS кабелей расширения HD полок обычных полок Избыточность BBU 5500v3 5600v3 2 5800v3 8 6800v3 6 electrical 3м, 5м electrical 1м, 3м, 5м; optical 15м 1+1 2+1 3+1 Избыточность PSU 1+1 2+2 Избыточность вентиляторов 5+1 5+1(2ctrl) Избыточность модулей управления max модулей SmartACC на контроллер 11+1(4) 1+1 1 Национальный Суперкомпьютерный Форум 2015 Техническое описание. Порты. порты 76 5300v3 5500v3 5600v3 4* 8G FC 4 порта на каждый внешний модуль 8* 8G FC 8 портов на вн. модуль 16G FC 2 порта на каждый внешний модуль GE 4 порта на каждый внешний модуль 10GE electrical 4 порта на каждый внешний модуль 10G TOE 4 порта на каждый внешний модуль 2* 10G FCoE 2 порта на каждый внешний модуль 4* 10G FCoE 4 порта на каждый внешний модуль 12G SAS 4 порта на каждый внешний модуль 56G IB 2 порта на каждый внешний модуль Smart IO 4 порта на каждый внешний модуль 5800v3 не поддерживаются Национальный Суперкомпьютерный Форум 2015 6800v3 Техническое описание. Порты. 77 max портов/контроллер 5300v3 5500v3 5600v3 5800v3 6800v3 8G FC 16С 20d 28 20 16G FC 8e 12f 28e 20e GE 12 8 28 20 10GE electrical 8 28 20 10G TOE 8 28 20 28g 20g 10G FCoE (VH2VF) 8g 12h 10G FCoE (VN2VN) 4 14 10 12G SAS 6 24 16 56G IB 4 14 10 Национальный Суперкомпьютерный Форум 2015 Посетите нашу веб- страницу с описанием СХД OceanStor 5300v3, 5500v3, 5600v3, 5800v3 и 6800v3 http://www.mdl.ru/Solutions/Put.htm?Nme=OceanStor5-6v3 78 Национальный Суперкомпьютерный Форум 2015