Информация об апробации кластера IBM1350 Blade Center

IBM 1350 Blade Center
Кластер находился в опытной эксплуатации / апробации с 7 декабря 2007 года по 29 февраля 2008
года. Кластер использовался для оценки производительности на задачах пользователей ССКЦ, а
также для проведения зимней школы по параллельному программированию, см.
http://ssd.sscc.ru/school/2008/main.html
На кластере были заведены 22 логина для сотрудников институтов СО РАН (ИЦиГ, ИТПМ,
ИВМиМГ), а также для студентов и аспирантов.
На 29 февраля пропущено более1800 заданий, часть пользователей не использовали очередь
заданий.
В процессе эксплуатации:
- подготовлена миниинструкция для пользователей по работе с LoadLeveler: запуск
параллельного (Intel MPI) и последовательного задания в пакетную обработку;
- в текущих настройках системы пакетной обработки (LoadLeveler) предельное время счета
задания увеличено с 30 мин. до 60 часов, 30 мин. оставлено как значение по умолчанию;
- в директории loadl добавлены права доступа для группы other, что позволило НЕ прописывать
новых пользователей в группу loadl;
- установлен Intel Trace Analyzer and Collector, собрана трасса по одному из заданий;
- 11 февраля включен учет использования процессорного времени заданиями пользователей
(ACCT = A_ON A_VALIDATE)
Для вывода статистики по заданиям использовалась команда llsummary
Для дополнительной информации по LoadLeveler см. http://www.loadl.com/
ПРИЛОЖЕНИЕ 1
IBM 1350 конфигурация технических средств и программного обеспечения
HDW
6 блейд-серверов, из которых один запасной (mgmt2).
Выч. модуль
BladeCenter HS21: 2x1.86GHz Int. Xeon QC/4x2GB RAM
Управляющий модуль BladeCenter HS21XM: 2x2.33GHz Int. Xeon QC/8x2GB RAM
В работе четыре вычислительных и один управляющий модуль - по два 4-х ядерных процессора
Intel Xeon - 32 ядра на кластер (4 х 8).
На выч.модулях 8 ГБайт памяти (по гигабайту на ядро), на управляющем 16 ГБ (по 2 ГБайта на
ядро)
Дисковая полка, подключенная по Fiber Channel (FC).
InfiniBand как Cluster Interconnect
Предустановленное программное обеспечение (SW)
Система управления кластером - IBM Cluster Systems Management (CSM) для Linux
Red Hat Enterprise Linux AS release 4 (Nahant Update 5)
Cisco_OFED-1.2.5 - стек протоколов InfiniBand
IBM LoadLeveler - система управления пакетными заданиями
IBM GPFS - параллельная файловая система
Компиляторы Intel C++ и Intel Fortran версии 10.1
Intel MKL версии 10.0
Intel MPI версии 3.1
ПРИЛОЖЕНИЕ 2
семинар-тренинг, 5-7 декабря, А. Бриндеев
5 декабря
Семинар Решения IBM для высокопроизводительных вычислений (System Cluster 1350)
Введение в программное обеспечение IBM для высокопроизводительных кластеров:
- IBM's Cluster System Management;
- IBM's General Parallel File System (GPFS)
На семинаре присутствовало 22 слушателя; 20 из СО РАН (ИВМиМГ, ИЦиГ, ИФП, ИВТ) и 2 из ООО
"Новотелеком"
6 декабря
Семинар-тренинг по удаленной работе на московском кластере.
Получение демонстрационного кластера (~16:30) и установка его в маш.зале.
Проверка работоспособности оборудования.
7 декабря
9:00 - 15:00 Семинар - тренинг
- подключение кластера IBM1350 в сеть ИВМиМГ (ibm1350.sscc.ru), настройка сетевых параметров.
- включение / выключение кластера, использование параллельной команды dsh
(poweroff/poweron), rpower, cfmupdatenode;
- установка свежей декабрьской версии компиляторов Intel и Intel MKL;
- использование Intel MPI, компиляция демонстрационого варианта параллельной программы и
запуск на выполнение.
- демонстрация использования монитора ganglia,
- заведение логинов трех новых пользователей (ИЦиГ, ИВТ и ИВМиМГ).