Файловые системы для вычислительных кластеров

Файловые системы для
вычислительных кластеров
Краткий обзор
2
Файловые системы для HPC
Зачем нужны?
Чем различаются?
Какие самые известные?
Сколько стоят?
3
Распределенные файловые системы
Нет монополизации LUN конкретным сервером
•сохраняются возможности блокировки
отдельных файлов на чтение и запись
Высокая масштабируемость
•по данным и метаданным
Высокая надёжность
Относительная дешевизна
4
Особенности масштабируемых ФС
Производительность
? single-thread (GB/s)
? multi-thread (GB/s)
? обработка коротких
операций ввода-вывода
? метаданные
Совместимость
? операционные системы и
их версии
Масштабируемость
? по данным
? по метаданным
Надёжность
? kernel space / user space
? репликация данных
? снэпшоты
Функциональность
? снэпшоты
? пулы ресурсов и HSM
? дедупликация
Стабильность
? количество внедрений
? SLA службы поддержки
Стоимость
5
Самые известные масштабируемые ФС
IBM GPFS
Lustre File System
Hadoop Distributed File System (HDFS)
Fraunhofer File System (BeeGFS)
---Panasas File System (PanFS)
Quantum StorNext File System
6
IBM GPFS
7
IBM GPFS — архитектура
8
IBM GPFS — сильные и слабые стороны
Сильные стороны:
•высокая производительность
•мгновенные снимки, пулы ресурсов
Слабые стороны:
•сложность настройки
•множество недокументированных параметров
•отсутствие графической консоли управления
•дороговизна лицензий и техподдержки
•перегрузка служб техподдержки
9
GPFS --- клиенты в нефтегазовом секторе
Petrobras
Exxon Mobil
ENI
British Petroleum
Подробности недоступны!
10
IBM GPFS --- стоимость (List Price)
Сервер:
•лицензия + 1 год поддержки — 184 USD
•доп. 1 год поддержки — 36.75 USD
Клиент:
•лицензия + 1 год поддержки — 2.20 USD
•доп. 1 год поддержки — 0.45 USD
Все цены — за 10 PVU
•в типичном современном Intel Xeon
--- 70 PVU на 1 ядро
11
LUSTRE (IEEL)
12
Lustre --- архитектура
13
Lustre — сильные и слабые стороны
Сильные стороны:
•высочайшая производительность
•высочайшая масштабируемость
•графическая консоль управления
•бесплатность лицензий и дешевизна
коммерческой техподдержки
•возможность работы с любыми массивами
Слабые стороны:
•нет снимков, пулов хранения, дедупликации
•мало публичных историй успеха
в нефтегазовой отрасли
14
Масштабируемость Lustre — 1.5 ТБ/с
15
Внутри инсталляции LLNL --- NetApp E5400
16
Lustre + ZFS --- потеря производительности
17
Lustre --- клиенты в нефтегазовом секторе
DownUnder Geosolutions (Australia)
•Сluster size: 12’000 cores
•Storage size: 1.5 PB
•I/O performance: 10 GB/s
Total S. A. (France)
•Сluster size: 110’592 cores
•Storage size: 7 PB
•Pangea --- крупнейший коммерческий
суперкомпьютер в мире!
18
Lustre File System — история и команда
1999 --- Университет Карнеги-Мелон
2003 — Cluster File Systems, Inc.
2007 --- Sun Microsystems, Inc.
2010 --- Oracle Corporation
2010 --- Whamcloud
2012 --- Intel Corporation
Brent Gorda
Eric Barton
Peter Braam
Andreas Dilger
19
«СетьПроект» — партнёр Intel в России
20
Intel Lustre --- стоимость (List Price)
Сервер (OSS):
•1 год поддержки — 7000 USD
Клиент:
•бесплатно
21
APACHE HDFS
22
HDFS --- архитектура
23
HDFS — сильные и слабые стороны
Сильные стороны:
•широкая распространенность
•социальные сети, поисковые машины
•масса вариантов коммерческой поддержки
•возможность работы с любыми массивами
•бесплатность лицензий и дешевизна
коммерческой техподдержки
Слабые стороны:
•плохая производительность по операциям
записи
•плохая масштабируемость
•множество несовместимых версий
•нет историй успеха в нефтегазовой отрасли
24
HDFS --- крупнейшие внедрения
25
FRAUNHOFER GFS (BEEGFS)
26
BeeGFS --- архитектура
27
BeeGFS --- сильные и слабые стороны
Сильные стороны:
•универсальность (полностью в user space)
•распределенные серверы метаданных
•высочайшая производительность
•особенно single-thread
•графическая консоль управления
•бесплатность лицензий и дешевизна
коммерческой техподдержки
•возможность работы с любыми массивами
Слабые стороны:
•нет снимков, пулов хранения, дедупликации
•мало публичных историй успеха
в нефтегазовой отрасли
28
BeeGFS--- клиенты в нефтегазовом секторе
Det norske oljeselskap (Норвегия)
RockSolidImages (США)
Lundin (Норвегия)
Подробности недоступны!
29
BeeGFS --- типичная инсталляция
30
BeeGFS --- производит-сть Single-Thread
Оборудование:
•5 storage servers по 36 дисков RAID60
Тест:
•iozone 1-thread, 1-node
Результаты BeeGFS:
•2’484’441.50 Kbytes/sec, Sequential Write
•1’087’680.75 Kbytes/sec, Sequential Read
Результаты Lustre (для сравнения):
•465’339.94 Kbytes/sec, Sequential Write
•378’283.56 Kbytes/sec, Sequential Read
31
BeeGFS --- производит-сть Multi-Thread
Оборудование:
•5 storage servers по 36 дисков RAID60
Тест:
•IOB_5 (8 threads on 8 nodes)
Результаты BeeGFS:
•5’623’611.31 Kbytes/sec, Sequential Write
•7’913’005.2 Kbytes/sec, Sequential Read
Результаты Lustre (для сравнения):
•3’494’379.44 Kbytes/sec, Sequential Write
•2’750’521.81 Kbytes/sec, Sequential Read
32
BeeGFS --- стоимость (List Price)
Сервер (multi-target):
•1 год поддержки — 1600 EUR
Сервер (single-target):
•1 год поддержки — 1100 EUR
Клиент:
•бесплатно
33
Услуги «СетьПроекта»
Помощь в постановке задачи
•уточнение
исходных данных
•выявление
неочевидных ограничений
•организация
тестовых стендов
Внедрение СХД
•проектирование
•поставка
•развертывание
Сопровождение СХД
34
Знаем и умеем --- проверено!
Интернет:
Электр. почта:
Телефон:
Факс:
Адрес:
http://www.netproject.ru
info@netproject.ru
(495) 969-24-30
(499) 969-80-63
119334, Москва, 5-й Донской
проезд, 15 стр. 8
35
Дешевизна масштабируемых ФС
Задача --- файловая система для вычислительного
кластера:
•200 ТБ полезной емкости
•6 ГБ/с скорость последовательной записи
Расчет в ценах List Price
NetApp FAS (IO size = 32К):
•FAS8060
•8 узлов, 576 дисков 900 ГБ SAS 10K --- $4.4М
NetApp E-Series + Lustre (IO size = 256K):
•E2700
•6 узлов, 247 дисков 2 ТБ SATA --- $350K