Определения - Московский государственный университет имени

|
МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени М.В.ЛОМОНОСОВА
НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ ЯДЕРНОЙ ФИЗИКИ
имени Д.В.СКОБЕЛЬЦЫНА
УДК 004.75+004.722
№ госрегистрации
Инв. № 105836/01/08
УТВЕРЖДАЮ
И.о. директора НИИЯФ МГУ
профессор
______________ В.И. Саврин
«17» июня 2008 г.
ОТЧЕТ № 3
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ
«Разработка архитектуры и программных средств для обеспечения
взаимодействия грид-инфраструктуры РДИГ/EGEE и создаваемой системы
суперкомпьютерных центров СКИФ»
(промежуточный)
Тема:
Экспериментальные исследования поставленных задач
Руководитель работы
д.ф.-м.н.
__________________________ В.А. Ильин
Москва 2008
СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель работ, зам.
директора,
д.ф.-м.н.
_________________ В.А.Ильин (заключение)
17.06.2008
Исполнители
с.н.с., к.ф.-м.н.
_________________ А.П.Крюков (основная часть)
17.06.2008
с.н.с., к.ф.-м.н.
_________________ А.П.Демичев (введение)
17.06.2008
с.н.с., к.ф.-м.н.
_________________ В.Ф. Еднерал (основная часть)
17.06.2008
с.н.с., к.ф.-м.н.
_________________ А.В. Бережной (основная часть )
17.06.2008
с.н.с., к.ф.-м.н.
_________________ Г.Б. Шпиз (заключение)
17.06.2008
2
Реферат
Отчет 12 страниц.
Ключевые слова: распределенные вычисления, грид, грид-сервис,
суперкомпьютеры, СКИФ, интерфейс передачи сообщений MPI.
Объектом
исследования
являются
грид-инфраструктура
EGEE/РДИГ
и
суперкомпьютеры СКИФ в качестве ресурсного узла.
Цель
данного
этапа
НИР
–
Экспериментальные
исследования
поставленных задач.
Содержание
Нормативные ссылки ......................................................................................................................... 3
Определения ....................................................................................................................................... 4
Используемые сокращения ............................................................................................................... 4
1 Содержание выполняемых работ................................................................................................... 5
2 Разработка методики экспериментальных исследований, подготовка макета гридинфраструктуры РДИГ со СКИФ-ресурсами .................................................................................. 5
3 Определение номенклатуры технической документации на макет в соответствии с ГОСТ 2.102-68
и разработка документации ............................................................................................................... 6
4 Изготовление макета, проведение тестовых испытаний сопряженности информационных систем
СКИФ и инфраструктуры РДИГ-EGEE. .......................................................................................... 6
4.1 Назначение и область применения ........................................................................................ 6
4.2 Технические характеристики ................................................................................................. 7
5 Создание модифицированной системы распределения загрузки заданий РДИГ-СКИФ. Внедрение
этой системы в инфраструктуру РДИГ в тестовом режиме. .......................................................... 8
6 Проведение технико-экономических исследований эффективности внедрения исследования в
народное хозяйство. ........................................................................................................................... 8
ЗАКЛЮЧЕНИЕ ................................................................................................................................ 10
Нормативные ссылки
3
В настоящем отчете о НИР использованы ссылки на следующие стандарты:

пояснительная записка в соответствии с ГОСТ 19.404-79;

руководство системного программиста - ГОСТ 19.503-79;

руководство программиста - ГОСТ 19.504-79;

тексты разработанных программных компонент в соответствии с ГОСТ 19.401-78;
Определения
Грид – (от английского grid – сеть) собирательное название вычислительных
технологий,
рассматривающих
произвольное
объединение
отдельных
вычислительных ресурсов в качестве единого вычислительного ресурса.
Грид-сервис – программное приложение, выполняемое на вычислительном гридресурсе.
Используемые сокращения
СОЗ
– Система очередей задач.
EGEE
– Enabling Grid in Escience in Europe.
РДИГ
– Российский грид для интенсивных операций с данными.
ОС
– Операционная система.
PBS
– Portable Batch System
ППО
– Промежуточное программное обеспечение.
ВЭ
– Вычислительный элемент.
JDL
– Job Description Language
4
РУ
– рабочий узел
НОДА
– рабочий узел
MPI
– Message Passing Interface
PVM
– Parallel Virtual Machine.
СК
- суперкомпьютер
МГУ
Московский Государственный Университет им. М.В.Ломоносова
НИИЯФ МГУ
Научно-исследовательский институт ядерной физики МГУ
НИР
научно-исследовательские работы
ТЗ
техническое задание
MPI – сокращение от английского Message Passing Interface - дословно "интерфейс
передачи сообщений". Протокол обмена данными с многопроцессорными
системами.
1 Содержание выполняемых работ
Согласно Календарному плану на Этапе 3 в период с 01 января по 30 июня 2007 г.
запланировано выполнение следующих работ:
1. Разработка методики экспериментальных исследований, подготовка макета гридинфраструктуры РДИГ со СКИФ-ресурсами.
2. Определение номенклатуры технической документации на макет в соответствии с ГОСТ 2.10268 и разработка документации.
3. Изготовление макета, проведение тестовых испытаний сопряженности информационных систем
СКИФ и инфраструктуры РДИГ-EGEE.
4. Создание модифицированной системы распределения загрузки заданий РДИГ-СКИФ.
Внедрение этой системы в инфраструктуру РДИГ в тестовом режиме.
5. Проведение технико-экономических исследований эффективности внедрения исследования в
народное хозяйство.
6. Составление промежуточного отчета и его рассмотрение.
2 Разработка методики экспериментальных исследований, подготовка
макета грид-инфраструктуры РДИГ со СКИФ-ресурсами
Разработаны программа и методика экспериментальных исследований. Целью предварительных
испытаний является определение возможности предъявления макета узла СКИФ-ГРИДа на
5
приемочные испытания. Программа испытаний предусматривает проведение испытаний
отдельных элементов сопряжения на макете узла СКИФ-ГРИДа и комплексных испытаний макета
в целом. См. документ "Программа и методика предварительных испытаний сопряжения гридинфраструктуры РДИГ со СКИФ-ресурсами на макете узла СКИФ-ГРИД".
3 Определение номенклатуры технической документации на макет в
соответствии с ГОСТ 2.102-68 и разработка документации
Состав предъявляемой документации:
1. Программа и методики испытаний сопряжения грид-инфраструктуры РДИГ со СКИФресурсами на макете узла СКИФ-ГРИДа.
2. Комплект документации на ПО:

пояснительная записка в соответствии с ГОСТ 19.404-79;

руководство системного программиста - ГОСТ 19.503-79;

руководство программиста - ГОСТ 19.504-79;

тексты разработанных программных компонент в соответствии с ГОСТ 19.401-78;
3. Приложения:


комплект протоколов предварительных испытаний по выполненным пунктам ПМ;
комплект файлов с текстами программ.
4 Изготовление макета, проведение тестовых испытаний
сопряженности информационных систем СКИФ и инфраструктуры
РДИГ-EGEE.
4.1 Назначение и область применения
Концепция грид-технологий появилась как ответ на возросшие потребности
в крупных
информационно-вычислительных ресурсах, динамически выделяемых для решения громоздких
задач, в научной, индустриальной, административной и коммерческой областях деятельности.
Создание грид-среды подразумевает объединение вычислительных ресурсов географически
разделенных ресурсных центров при помощи специализированного программного обеспечения
(промежуточное программное обеспечение, ППО). Это программное обеспечение позволяет
распределять задания по таким центрам, возвращать результаты пользователю, контролировать
права пользователей на доступ к тем или иным ресурсам, осуществлять мониторинг ресурсов.
Изготовленный макет узла СКИФ-ГРИДа предназначен для тестирования функционирования
сопряжения грид-инфраструктуры РДИГ со СКИФ-ресурсами, работающими в режиме MPIкластера.
Узел СКИФ-ГРИДа (см. рис. 1) состоит из специального сайта РДИГ и СКИФ-кластера
(MPI-кластера). Сайт РДИГ состоит из компьютерного элемента (CE-gLite) и Шлюза,
6
организованного на базе одной рабочей ноды (WN-gLite). Основная задача разработанного ПО для
узла СКИФ-ГРИДа состоит в обеспечении запуска заданий (JDL-скриптов) через РДИГ на СКИФкластере, причем не предполагается наличия на СКИФ-кластере какого-либо специального ПО.
Помимо ОС из семейства LINUX, требуется только наличие на машинах кластера клиентской
части PBS (MOM), входящей в стандартный набор ПО СК СКИФ и наличие на СКИФ-кластере
стандартной для MPI-кластеров библиотеки MPICH (MPICH2).
РДИГ/
EGEE
ВЭ
Шлюз
СК
СКИФ
Рис.1. Упрощенная схема узла СКИФ-ГРИДа. Здесь ВЭ – вычислительный элемент на основе
вычислительного элемента CE gLite и Шлюз на основе рабочей ноды WN gLite осуществляют
передачу РДИГ-заданий в СК СКИФ.
4.2 Технические характеристики
На макете узла СКИФ-ГРИДа роль СКИФ-кластера выполняет 16-ти ядерный MPI-кластер с
установленной на нем ОС Scientific Linux, клиентской части PBS (MOM) и библиотеки MPICH. В
целом, в макете узла СКИФ-ГРИД, используемом в предварительных испытаниях используется
сайт РДИГ состоящий из вычислительного элемента (ВЭ) с адресом:
lcg85.sinp.msu.ru
и рабочей ноды (WN) с адресом:
lcg42.sinp.msu.ru
и модель СКИФ-кластера, состоящая из четырех 4-х процессорных машин с адресами:
lcg81.sinp.msu.ru
lcg82.sinp.msu.ru
lcg83.sinp.msu.ru
lcg84.sinp.msu.ru
Система очередей задач (СОЗ) для кластерного уровня суперкомпьютеров семейства "СКИФ"
предназначена для обеспечения распределения задач пользователей между базовыми
вычислительными модулями (узлами) кластерного уровня для достижения большей
производительности, получаемой в силу более равномерной загрузки вычислительных узлов и
более равномерного распределения вычислительных ресурсов между пользователями. В качестве
СОЗ в суперкомпьютерах СКИФ применена система PBS – хорошо известное решение,
основанное на открытых кодах. Использование PBS позволит заметно сократить объем кода,
требуемый для стыковки ВЭ основанного на ППО gLite и СОЗ, используемого в СК СКИФ.
Промежуточное программное обеспечение gLite – базовое ППО для построения, на котором
строится грид-инфраструктура EGEE/РДИГ.
7
Структура кластера СКИФ и используемая на нем операционная система Линукс, системы
управления очередями заданий PBS, близки к структуре и ПО используемым на кластерах и
рабочих узлах в грид инфраструктуре EGEE/РДИГ. Близость этого ПО облегчает проблему
стыковки кластера СКИФ и грид шлюза EGEE/РДИГ.
EGEE грид предоставляет развитую инфраструктуру и программные средства для удаленного
запуска заданий и централизованного мониторинга состояния заданий, что позволяет обеспечить
эффективный доступ пользователей к вычислительным ресурсам СКИФ.
На основе вышесказанного была выбрана архитектура подключения СКИФ-кластера к СК
СКИФ, при которой ППО gLite установлено на отдельном сервере (ВЭ), и грид-шлюзе, через
который осуществляется взаимодействие с грид-инфраструктурой EGEE/РДИГ.
Входные и выходные потоки осуществляются через локальную сеть, при этом необходимым
являются следующие требования к локальным сетям и файловым системам:
 минимальная пропускная способность локальной сети, связывающей компьютеры
ресурсного центра и компьютера вычислительного элемента макета узла СКИФ-ГРИДа –
100Мбит/с;
 связь компьютера вычислительного элемента со шлюзом на скорости не менее 1 Гбит/с;
 монтаж на компьютере шлюза как файловой системы компьютера вычислительного
элемента, так и файловой системы mpi - кластера;
 директории /home на шлюзе и на машинах кластера должны быть смонтированы между
собой.
5 Создание модифицированной системы распределения загрузки
заданий РДИГ-СКИФ. Внедрение этой системы в инфраструктуру
РДИГ в тестовом режиме.
Создана модифицированная система распределения загрузки заданий РДИГ-СКИФ. Внедрение
этой системы в инфраструктуру РДИГ тестировалось на макете узла СКИФ-ГРИДа в режиме 7х24.
Для этого проводился непрерывный запуск заданий в течение недели с подсчетом общего числа
запусков и отдельно - числа успешных запусков. Далее вычислялась средняя скорость запусков и
процентное соотношение успешных запусков. Были получены следующие результаты:

средняя скорость запуска заданий составила 12 заданий в минуту;

процент успешных запусков к полному числу запусков составил 98%.
На основании этого проверка была сочтена успешной.
6 Проведение технико-экономических исследований эффективности
внедрения исследования в народное хозяйство.
Основной задачей разработанного ПО является достижение совместимости схем информационных
систем РДИГ-EGEE и СКИФ-грида. При этом были выполнены следующие требования:


модифицированная система распределения заданий РДИГ обеспечивает (в режиме 24х7,
свыше 10 заданий в мин.) пересылку заданий в систему СКИФ-ГРИД в соответствии с
запрашиваемой в задании спецификацией суперкомпьютерных центров СКИФ;
система мониторинга выполнения заданий обеспечивает пользователя и информационные
системы двух грид инфраструктур (РДИГ и СКИФ) оперативной информацией в
интерактивном режиме о выполнении пересланных заданий и о конечных результатах их
выполнения;
8

язык описания заданий (JDL) пополнен инструкцией-требованием MPI_SKIF, которая
позволяет потребовать от ресурс-брокера распределить задание только на узел СКИФГРИДа.
9
ЗАКЛЮЧЕНИЕ
В процессе выполнения работ по третьему этапу были получены следующие результаты:
1. Разработана методика экспериментальных исследований, подготовлен макет гридинфраструктуры РДИГ со СКИФ-ресурсами.
2. Определена номенклатура технической документации на макет в соответствии с ГОСТ
2.102-68. Разработана документация для пользователей и системных администраторов
объединенной системы РДИГ-СКИФ.
3. Изготовлен макет узла СКИФ-ГРИДа, на нем проведены предварительные испытания
сопряженности информационных систем СКИФ и инфраструктуры РДИГ-EGEE.
Достигнута совместимость информационных систем РДИГ-EGEE и СКИФ-ГРИДа.
Определены требования к номенклатуре параметров.
4. Создана модифицированная система распределения загрузки заданий РДИГ-СКИФ. Язык
описания заданий (JDL) пополнен инструкцией-требованием MPI_SKIF, которая позволяет
потребовать от ресурс-брокера распределить задание только на узел СКИФ-ГРИДа.
Модифицированная система распределения заданий РДИГ обеспечивает в режиме 24х7,
пересылку заданий в систему СКИФ-ГРИД со средней скоростью не менее 10 заданий в
минуту. Система мониторинга выполнения заданий обеспечивает пользователя и
информационные системы грид инфраструктур оперативной информацией о выполнении
пересланных заданий и конечных результатах их выполнения в интерактивном режиме.
5. Проведены технико-экономические исследования эффективности внедрения исследования в
народное хозяйство.
6. В работу вовлечены два молодых специалиста.
7. Направлена в печать одна статья
10