Департамент инфраструктурных решений Павел Синицын, менеджер по продажам отдела продаж бизнес-серверов Опыт создания суперкомпьютера Уфимского государственного технического университета Научно-практическая конференция «Информационная система инновационного вуза» 30 мая 2008 г. www.it.ru 1 Опыт создания суперкомпьютера Уфимского государственного технического университета Этапы создания суперкомпьютера • • • • • • Формализация требований (ТЗ) Проектирование подсистем Закупка оборудования Монтаж систем Пусконаладочные работы Тестирование суперкомпьютера Важно: исполнителей может быть много, но у проекта должен быть ОДИН куратор www.it.ru 2 Опыт создания суперкомпьютера Уфимского государственного технического университета Проектирование подсистем - проектирование вычислительной системы www.it.ru 3 Опыт создания суперкомпьютера Уфимского государственного технического университета Проектирование подсистем - проектирование системы охлаждения www.it.ru 4 Опыт создания суперкомпьютера Уфимского государственного технического университета Проектирование подсистем - проектирование системы энергоснабжения www.it.ru 5 Опыт создания суперкомпьютера Уфимского государственного технического университета Проектирование подсистем - планирование размещения оборудования и кабельных трасс www.it.ru 6 Опыт создания суперкомпьютера Уфимского государственного технического университета … и вот … результаты проектирования www.it.ru 7 Опыт создания суперкомпьютера Уфимского государственного технического университета … и вот … результаты проектирования www.it.ru 8 Опыт создания суперкомпьютера Уфимского государственного технического университета Характеристики суперкомпьютера Технические характеристики суперкомпьютера УГАТУ Число вычислительных узлов / процессоров / вычислительных ядер 266 / 532 / 2128 Конструктив узла Количество монтажных шкафов вычислительного кластера Тип процессора блейд-сервер IBM типа HS21XM 6 четырехъядерные процессоры Intel Xeon 5345 2,33 ГГц Пиковая производительность Производительность на тесте Linpack Тип системной сети Скорость передачи сообщений между узлами Тип управляющей (вспомогательной) сети Тип сервисной сети Оперативная память Дисковая память вычислительных узлов Дисковая память системы управления Тип системы хранения данных Площадь помещения, где установлен СК Минимальная необходимая площадь Потребляемая мощность вычислительного кластера Потребляемая мощность установки в целом Вес вычислительного кластера 20 Тфлопс 15,45 Тфлопс InfiniBand 4х SDR до 10 Гбит/сек Gigabit Ethernet Gigabit Ethernet 2,16 Тбайт 19,5 Тбайт 7,2 Тбайт IBM DS3400, дублированная 53 м2 38,4 м2 (при высоте потолка 3 м) 85 кВт 130 кВт 5,4 тонн www.it.ru 9 Опыт создания суперкомпьютера Уфимского государственного технического университета Характеристики суперкомпьютера (продолжение) Система бесперебойного электропитания: Тип оn-line Исполнение модульное Количество монтажных шкафов 4 Максимальная мощность 160 (120+40) кВт Резервирование 3+1, «горячая замена» компонентов Вес системы 2,45 тонн Климатическая система: Тип модульная, замкнутого типа, на основе воздушно-водяного теплообменника Холодопроизводительность 110 кВт Резервирование 1+1 Теплоноситель Водный раствор этиленгликоля Количество холодильных машин 2 Вес системы 3,6 тонн www.it.ru 10 Опыт создания суперкомпьютера Уфимского государственного технического университета Уникальность настоящего проекта 1. Кластер построен на оборудовании IBM и Cisco (первая поставка «тяжелого» IB-оборудования в Россию. 2. Реализация в системной сети кластера технологии «неблокируемого» IB. 3. Системный софт: сертифицированный RHEL v.4, параллельная файловая система, планировщик/сборщик, компиляторы – коммерческие продукты. 4. Использование модульной климатической установки замкнутого типа Rittal RiMatrix5. 5. Единая система управления климатической установкой и системой гарантированного электропитания. www.it.ru 11 Опыт создания суперкомпьютера Уфимского государственного технического университета Контактные лица вендоров • От IBM: ИП – Свидрицкий Андрей [email protected] Системный консультант – Горбас Сергей [email protected] • От Cisco: Консультант – Абрамян Артур [email protected] • От Rittal: ИП – Башкиров Владимир [email protected] • От Intel: Консультант – Соркин Александр [email protected] www.it.ru 12 Опыт создания суперкомпьютера Уфимского государственного технического университета Команда АйТи • Сотрудники уфимского офиса во главе с директором Бакиевым О. • Сотрудники ДИР www.it.ru 13 Опыт создания суперкомпьютера Уфимского государственного технического университета Практика расчета производительности кластера • Единая методика расчета, результаты которой приводятся на TOP500 (WorldWide) и TOP50 (Россия) – TOP500-Tool-v3.6-1 автор: Jay Urbanski [email protected] • • • • TOP500 Estimator Tool Customer Name Cluster Name Country • • • • • • • • • • • • • # of Nodes # of CPU cores/Node GHz Rating RAM / CPU Core (GB) CPU Type Interconnect Performance Rpeak (Peak performance) Estimated Rmax (Actual performance) Efficiency (Percentage of peak) www.it.ru УГАТУ IBM System Cluster 1350 Russia Main Blades 266 8 2,33 1 Clovertown Infiniband 4x GFLOPS 19 833,0 14 577 73,50% 14 Опыт создания суперкомпьютера Уфимского государственного технического университета Практика расчета производительности кластера Часть 2 Комментарий: Последний TOP500 (ноябрь 2007): кластер УГАТУ занял 181 место (Rpeak =19,858 Tflops, Rmax=9,287 Tflops), если бы были готовы результаты тестирования по методикам Linpack Benchmark (завершено 24 января 2008 г. Rmax=15,454 Tflops), то в TOP500 заняли бы 76 место. www.it.ru 15 Опыт создания суперкомпьютера Уфимского Опыт создания суперкомпьютера государственного технического университета Уфимского государственного технического университета Синицын Павел 117218 Менеджер по продажам отдела продаж бизнес-серверов Москва, ул. Кржижановского, 29, корп. 2, (а/я 116) E-mail: @it.ru www.it.ru Тел.: +7 (495) 974-79-79 ● 974-79-80 ● 127-90-10 ● 127-90-12 Факс: +7 (495) 974-79-90 ● 129-12-75 16