MS PowerPoint - Сибирский суперкомпьютерный центр

Совместный Центр Компетенции СО РАН – Intel
по параллельным вычислительным технологиям
для науки и промышленности
Центр Компетенции
CО РАН - Intel
Цели, задачи и некоторые результаты
Б.М.Глинский,
Н.В.Кучин
(ИВМиМГ СО РАН)
В.В.Самофалов,
(Интел)
А.Ю. Бакулина
(НПО «Вектор»)
Д.А. Афонников
(ИЦГ СО РАН)
В.А. Чеверда
(ИНГГ СО РАН)
Цели создания Центра Компетенции (ЦК)
Создаётся в соответствии с Меморандумом о сотрудничестве
между СО РАН и INTEL от 14 июня 2007 г.




Внедрение современных вычислительных технологий
на базе разработок фирмы Intel и достижений СО РАН
в науку и промышленное производство Сибирского
региона
Обучение современным вычислительным технологиям на
базе разработок фирмы Intel организаций добывающих
отраслей, промышленности, науки и ВУЗов;
Оказание консультаций по параллельному
программированию и вычислительных услуг на базе
кластеров, имеющихся в ССКЦ (платформы Intel Itanium2,
многоядерным Quad-Core Intel® Xeon® 5300 в перспективе
и др.) по параллельным супервычислениям;
Сравнительная оценка производительности новых
разработок фирмы Intel в области технических и
программных средств на реальных задачах, решаемых в
ССКЦ.
2
Актуальность



Реализация поставленных целей имеет
первостепенное значение для проведения научных
исследований, оснащения ССКЦ современным SW
фирмы Intel.
Не менее актуальной является задача привлечения
крупных промышленных предприятий Новосибирска
и Сибирского региона к высокопроизводительным
вычислениям, оказания консалтинговых и
вычислительных услуг ССКЦ и Новосибирским
филиалом фирмы Intel.
Другой не менее важной задачей является поддержка
совместных проектов фирмы Intel с рядом
Институтов СО РАН (ИНХ, ИФП, ИК).
3
Задачи ЦК СО РАН – Intel
ключевые понятия: Инфраструктура Центра Обработки Данных,
Блейд-решения, многоядерность, параллельные вычисления






Формирование сообщества по высокопроизводительным
вычислениям (HPC Community);
Понимание реальных проблем науки и промышленности,
требующих высокопроизводительных вычислений (разработка
алгоритмов и программ, промышленный счет, использование
коммерческих/свободно распространяемых пакетов);
Предоставление вычислительных ресурсов для науки, высшего
образования и промышленности на базе Intel HW&SW;
Консультации и практическая помощь в решении проблем
пользователей;
Участие в организации Сибирского сегмента HPC Grid
(Новосибирск, Томск, Красноярск);
Повышения практической отдачи от использования
высокопроизводительной вычислительной техники фирмы Intel.
4
Методы достижения
поставленных целей

В СО РАН при ИВМиМГ создан Суперкомпьютерный Центр
Коллективного Пользования (ССКЦ КП)
•
•
•
удаленный доступ из 22 Институтов СО РАН, 3 Университетов –
база Центра Компетенции.
возможен доступ по каналам связи из других организаций.
кластер НКС-160 на платформе Itanium2 (ИВМиМГ, Intel Novo
site, HP):




пилотная версия от Intel (8 серверов rx1620, InfiniBand);
закуплено 76 серверов и коммуникационное оборудование
развитие центра идет за счет средств Президиума СО РАН, Приборной
Комиссии, грантов РФФИ.
Совместный семинар Отдела Вычислительных Систем и
Сетей ИВМиМГ СО РАН, кафедры Вычислительных Систем
НГУ B Intel Novo в интересах Центра компетенции
•
•
серия семинаров-тренингов по HPC на ресурсах ССКЦ КП
специалисты Intel и ССКЦ для пользователей из СО РАН,
университетов и промышленности.
5
Имеющийся задел

Основной технический и программный ресурс ССКЦ: кластер НКС-160
•
•
•
•
•
•
НКС-160 состоит из 42 двухпроцессорных серверов hp Integrity rx1620 с
объемом оперативной памяти 4 Гбайта.
В качестве Cluster Interconnect используется InfiniBand (10 Гбит/сек) на базе
коммуникационного оборудования фирмы Voltaire
Вторая коммуникационная сеть на основе коммутатора GigabitEthernet служит
для управления работой модулей, мониторинга, поддержки сетевой
файловой системы (NFS)
Пиковая производительность с 80 процессорами – 1.075 Tflop/s и 828.7 Gflop/s
- на стандартном тесте High Performance Linpack
С декабря 2007 года кластер эксплуатируется в полной конфигурации 84
сервера rx1620.
SW и поддержка:






Red Hat Enterprise Linux ES release 4, компиляторы Intel C++ и Intel Fortran, MKL
инструментальные системы Intel: VTune Performance Analyzer, Thread Checker
SW для коммуникационного оборудования InfiniBand фирмы Voltaire: MPI (MVAPICH)
RocksClusters 4.1 с системой Grid Engine и подсистема мониторинга Ganglia
Серверы hp Integrity оснащены сервисными процессорами (Management Processor),
доступ к которым осуществляется по отдельной сети управления посредством hp
Systems Insight Manager через Web интерфейс.
Запланирована закупка специализированного пакета HP Cluster Management Utility
(CMU)
6
Имеющийся задел
(продолжение)


Кластер МВС-1000/128:
•
•
•
•
вычислительные модули с двумя 64-разрядными процессорами DEC Alpha
21264, по 2 Гбайта RAM на модуль,
две коммуникационные сети: Myrinet и FastEthernet.
пиковая производительность МВС-1000/128Н (64 модуля) – 196 Gflop/s, а на
стандартном тесте HPL – 122,4 Gflop/s.
SW и поддержка:
 ОС RedHat LINUX Alpha 7.2 и библиотеки MPI (библиотеку функций
передачи сообщений MPICH 1.2.5.12 с драйверами для коммуникационной
среды Myrinet gm-1.6.5_Linux).
 компиляторы Compaq Fortran, Compaq C/C++ и библиотека Compaq
Extended Math Library (CXML).
 для пакетной обработки применяется Система Управления Прохождением
Заданий (СУПЗ), разработанная в ИПМ им. Келдыша РАН.
Сервер hp Integrity rx4640-8 (прежде всего для 3D задач, требующих
большого объема оперативной памяти, и параллельных задач):
•
на базе процессоров Intel Itanium2 c 64 Гбайтами RAM
Поддерживаются две парадигмы параллельных вычислений — MPI для
систем с распределенной памятью (кластеров) и OpenMP для систем
с общей памятью.
7
Ожидаемые результаты
от создания Центра Компетенции

Ускорение освоения нового поколения
вычислительных технологий позволит:
•
•

обеспечить новыми вычислительными платформами
Сибирский регион, которые могут помочь науке и
промышленности эффективно развиваться,
проводить совместные СО РАН и Intel научноисследовательские разработки.
Планируемые мероприятия позволят
осуществить:
•
•
обучение пользователей ССКЦ современным
технологиям высокопроизводительных вычислений,
привлечение пользователей в ССКЦ не только из
Институтов СО РАН, но и из промышленности
Новосибирска и региона.
8
Некоторые результаты




Получены однопользовательские академические
лицензии в ССКЦ на ПО Intel.
Создана рабочая группа Совета ЦК из представителей
науки и промышленности , председатель член-корр.
РАН Б.Г. Михайленко
Достигнута договорённость о сотрудничестве ЦК с ОАО
«Сибнефтегеофизика», и СибНИИА им. Чаплыгина в
области высокопроизводительных вычислений.
Заключён контракт с фирмой «Шлюмберже» на
развитие методов высокопроизводительных
вычислений и оказания вычислительных услуг в
интересах нефтяной промышленности.
9
Задачи нефтегазовой промышленности
(Шлюмберже)
Моделирование процессов распространения акустических волн в
трехмерном случае в применении к задачам акустического каротажа в
скважинах
(ИВМиМГ СО РАН)
Моделирование акустического каротажа
в скважине со слоистым вмещающим
пространством
Скорость в скважине: 1500 м/сек;
быстрая формация:
P-волна 3500 м/сек,
S-волна 2500 м/сек;
медленная формация (горизонтальный слой):
P-волна – 2500 м/сек,
S-волна – 1200 м/сек.
Слева – симметричное положение источника
Справа – асимметричное положение источника
(источник на половине радиуса).
10
Численное моделирование сейсмических
волновых полей в двумерно – неоднородных
разномасштабных упругих средах (карстовые включения)
(ИНГГ СО РАН)



Моделирование конечноразностным методом
объектов субсейсмического
масштаба, связанное с
расчетом волновых полей
возникающих на карстовых
включениях.
Использование мелкой
сетки для всей области
требует больших
вычислительных
мощностей.
Предлагается локальное
измельчение сеток в
областях с
субсейсмическими
неоднородностями.
11
а)
б)
Горизонтальная компонента полного волнового поля. а) Равномерно мелкая сетка
б) Сетка с локальным измельчением в области расположения карстовых включений.
а)
б)
Вертикальная компонента полного волнового поля. а) Равномерно мелкая сетка
б) Сетка с локальным измельчением в области расположения карстовых включений.
Уклонение волновых полей друг от друга составляет примерно 0.1%, в то время
как требования на вычислительные ресурсы отличаются примерно на порядок.
12
Изучение модели химерных белков
(НПО Вектор)
Известно, что белок gp41 в составе ВИЧ имеет консервативный участок (MPER
район), вызывающий нейтрализующие антитела. Предлагается встроить MPER
район gp41 в какой-либо белок-носитель. Модели химерных белков были
построены методом моделирования по гомологии в программе Modeller. Для
релаксации и получения динамических характеристик моделей численно решаются
классические уравнения движения для всех атомов системы в пакете GROMACS.
Для численного решения уравнений движения частиц системы в программе
GROMACS используется алгоритм интегрирования с перешагиванием (leap-frog).
Координаты частиц r вычисляются в моменты времени t, t+dt, t+2dt и так далее, а
скорости v – в моменты времени t+dt/2, t+dt/2+dt, t+dt/2+2dt и так далее, как бы
перешагивая друг через друга:
v(t+dt/2) = v(t-dt) + F(t)·dt/m
r(t+dt) = r(t) + v(t+dt/2)·dt
Здесь t – время, dt – шаг интегрирования, v – скорость атома, r – координаты атома,
m – масса атома, F – результирующая сила, действующая на атом.
По результатам работы был проведен анализ различных вариантов встроек MPER
района в белки-носители (30 моделей). В данный момент заказан синтез выбранных
химерных белков, и в ближайшее время начнется проверка их антигенных свойств.
13
Анализ компенсаторных замен
аминокислот в структурах белков
(ИЦГ СО РАН)
В пост-геномную эру одной из важнейших
задач является разработка алгоритмов и
программ предсказания структурнофункциональных особенностей белков.
Используются методы, результатом которых
являются структурные характеристики белковой
молекулы (контактная карта белка). Для
выявления статистической взаимосвязи между
режимом компенсаторных замен и
взаимодействием боковых групп аминокислот
необходим анализ особенностей структуры
белка и его эволюции для как можно большего
количества белков (от нескольких сотен до
тысяч белковых структур), что и было сделано
на кластерах ССКЦ.
Проанализировано 2355 белков. Программа
конвейерной обработки была реализована на
языке perl. На кластере НКС-160 расчеты были
проведены в течение 10 суток.
Чувствительность
Гидрофобность
Изоэл. Точка
Полярность
Объём
Случ.
l-специфичность
Характеристические кривые для предсказания контактов
боковых групп аминокислот в белках по наличию
компенсаторного режима эволюции для гидрофобности,
полярности, изоэлектрической точки и объема
аминокислот.
Вывод: использование информации о заменах, компенсаторных по величине
изоэлектрической точки является более информативным при разработке
метода предсказания контактных матриц белков.
14
Распределение процессорного
времени кластеров ССКЦ
(январь-декабрь 2007)
Time (CPU * hour)
НКС-160
Наука
377351,16 84,94%
МВС-1000/128
363774,25 91,89%
Образование
29233,97 6,58%
23919,87
6,04%
Промышленность
37692,36 8,48%
8177,63
2,07%
444277,50 100%
395871,75
100%
Общее
Наука: Институты СО РАН
Образование: Университеты – НГУ, НГТУ, СибГУТИ
Промышленность: Исследовательский Центр Вирусологии и Биотехнологий
«Вектор», Новосибирский Технологический Центр фирмы «Шлюмберже»
Спасибо за внимание!
16