Иванов В.В., Черемисина Е.Н., Зрелов П.В. - Дубна-Грид

Проект «Дубна-Грид»
Зрелов П.В., Иванов В.В., Черемисина Е.Н.
21.07.2005, Дубна, ОИЯИ
Проект «Дубна-Грид»
Зрелов П.В., Иванов В.В., Иванов Вал. В.,
Кореньков В.В., Крюков Ю.А., Рац А.А.,
Рябов Е.Б., Смирнов Ю.С., Смирнова О.Г.,
Стриж Т.А., Черемисина Е.Н.
Международная конференция
«Распределенные вычисления и гридтехнологии в науке и образовании»,
Дубна, 29 июня – 2 июля 2004 г.
Основополагающие документы
Соглашение
между Администрацией города Дубны,
Объединенным институтом ядерных исследований,
Международным университетом природы, общества и человека
«Дубна»
по созданию городской многоцелевой информационной
инфраструктуры нового поколения на основе Грид-технологий
20.10.2004 г., г.Дубна
Участники проекта (июль 2005 г.):
Антонов А.Н., Беляков Д.В., Голубь Д.С.,
Добромыслов С.Н., Долбилов А.Г., Зрелов П.В.,
Иванов В.В., Иванов Вал. В., Мицын В.В.,
Кореньков В.В., Крюков Ю.А., Попов Л.А., Рац А.А.,
Рябов Е.Б., Смирнов Ю.С., Смирнова О.Г.,
Стриж Т.А., Черемисина Е.Н., Чхаберидзе Д.В.
Грант г.Дубны
«Создание базовой установки
высокопроизводительных вычислений
«Dubna-Grid»
Грант г.Дубна на 2004-2005 гг.
для высококвалифицированных специалистов
научно-производственного комплекса Дубны по
программе развития наукограда
Основные цели проекта
Проект “Дубна-Грид” нацелен на создание распределенной среды
метакомпьютинга на основе незагруженных вычислительных
ресурсов «офисных» компьютеров. Проект предусматривает
создание общего пула доступных узлов более 1000 единиц.
Реализация проекта «Дубна-Грид» позволит:
• Создать единую вычислительную среду города Дубна
(метакластер) на базе ресурсов научно-исследовательских и
образовательных учреждений, в частности, подразделений ОИЯИ,
Университета «Дубна», общеобразовательных школ города и других
заинтересованных организаций.
Основные цели проекта
• Создать сегмент международной Грид - инфраструктуры,
оперирующий в рамках различных Грид-систем (LCG, NorduGrid
и OSG). Провести исследование проблем управления,
безопасности и стабильности в среде Грид.
• Обеспечить выполнение крупномасштабных вычислительных
задач ОИЯИ и других предприятий научно – промышленного
комплекса Дубны, а также заинтересованных сторонних
организаций.
• Распространить опыт создания городского сегмента Гридинфраструктуры для создания подобных систем в других городах
России.
Мотивация организаций-участников
Объединенный Институт Ядерных Исследований
заинтересован в привлечении дополнительных вычислительных
средств
для
выполнения
научно-исследовательских
работ,
проводимых в рамках как уже действующих экспериментов, так и
экспериментов, готовящихся на ускорителе LHC (Large Hadron
Collider) в ЦЕРН - ATLAS, ALICE, CMS.
Университет “Дубна” имеет обширную программу
развития образовательного процесса и подготовки специалистов
для работы с новейшими информационными технологиями. Кроме
того,
университет
заинтересован
в
организации
научноисследовательской программы с участием как аспирантов и
студентов Университета «Дубна» так и УНЦ ОИЯИ по вопросам,
связанным с информационными технологиями.
Мотивация организаций-участников
Город Дубна,
как наукоград России, заинтересован в создании
информационно-вычислительной инфраструктуры для
наукоемких производств и научных исследований, а
также для использования информационных технологий в
решении задач различных сфер городской жизни.
Решение подобных задач в рамках городской структуры,
возможно, планируется впервые в мировой практике.
Мотивация организаций-участников
Университеты г. Лунд (Швеция) и г. Чикаго (США)
заинтересованы
в
совместном
тестировании
и
использовании Грид-систем для задач реальной обработки
экспериментальных данных. Кроме того, для дальнейшего
усовершенствования имеющихся систем необходимы
дополнительные участники проектов и расширение
сотрудничества в области создания программного
обеспечения.
Основные мероприятия проекта
Создание Грид-сегмента происходит на базе
имеющихся сетевых, информационных и
вычислительных ресурсов города и различных
научных и учебных организаций.
Регламентация деятельности участвующих в проекте
сторон требует учета их специфики.
Основные мероприятия проекта
Администрация города Дубны:
• Предоставляет информационно-образовательную сеть с общим
количеством компьютеров около 500 единиц (помимо своего
основного предназначения).
• Предоставляет муниципальный канал передачи данных.
• Модернизирует задействованные в проекте компьютеры.
• Участвует в финансировании создания канала передачи данных
Москва-Дубна с пропускной способностью 1 Гбит в секунду.
Основные мероприятия проекта
Объединенный институт ядерных исследований:
• Проводит разработку и организует тестовую эксплуатацию архитектуры
полигона (инфрастуктуры, представляющей решения для
масштабирования и тиражирования).
• Обеспечивает сертификацию (получение паспорта на оборудование и
паспортов основных исполнителей) для работы в международных Гридсистемах.
• Проводит установку различных Грид-систем на узлах полигона.
• Создает объединенную Грид-лабораторию для исследований в области
Грид-технологий и организации обучения специалистов соответствующего
профиля.
• Приобретает оборудование для создания пула управляющих серверов.
• Создает канал передачи данных Москва-Дубна (1 Гбит в секунду).
Основные мероприятия проекта
Университет «Дубна»:
• Обеспечивает создание серверного центра поддержки университетского
сегмента Грид-инфраструктуры.
• Предоставляет компьютеры из состава университетской сети (помимо
своего основного предназначения) в количестве около 500 единиц.
• Участвует в разработке курсов по изучению Грид-технологий и
проведении обучения специалистов в рамках объединенной Гридлаборатории.
• Проводит разработки новых информационно-поисковых систем на базе
Грид-технологий для электронных библиотек г. Дубны и Московской
области.
ОИЯИ
город Дубна
• Канал 100 Мбит/сек ОИЯИ -Университет
• Каналы 100 Мбит/сек Университет - школы
• Мосты и шлюзы в Университете и структуре
городской сети
Аппаратные ресурсы проекта
• Сервер для поддержки инфраструктуры метакластера
• Программный мост (сервер) для разделения сетей проекта
"Дубна-Грид", школ и классов Университета
• Счетные узлы (всего сконфигурировано 146 единиц),
в компьютерных классах университета и школах города
Программные ресурсы проекта
• ОС - "Scientific Linux CERN", текущая версия - 305,
работает на серверах и виртуальных машинах счетных узлов
• ПО поддержки виртуальных машин - VMware, текущая
версия - 4.5.2
• Кластерное окружение - модифицированнй вариант
"Warewulf Cluster Toolkit", текущая версия - 2.2.3
• ПО Grid (в данный момент не установлено)
WEB-ресурсы проекта
WEB – сайт
проекта
находится по адресу
http://dubnagrid.jinr.ru/
и содержит разделы с
общей информацией о
проекте, постоянно
обновляемый раздел
новостей, информацию
о партнерах и т.д.
WEB-ресурсы проекта
Система
мониторинга
Информация о
текущем
состоянии
метакластера
Dubna-GRID
доступна на сайте
http://dgrsrv.jin
r.ru/ganglia/
Тестовая инфраструктура в ОИЯИ
Создание тестового комплекса (Грид-полигона) происходит в
рамках организации в ЛИТ ОИЯИ объединенной Гридлаборатории «GridLab».
Тестовый комплекс необходим для отработки системы
автоматического масштабирования узлов кластера, проверки и
пробной эксплуатации новых версий ПО для узлов и серверов
метакластера, разработки системы измерения производительности
метакластера.
В настоящее время оборудовано помещение и заказано
оборудование (сервер + 6 узлов), ведется разработка положения о
Грид-лаборатории.
Тестовая инфраструктура в ОИЯИ
Задачи:
• Установка программного обеспечения аналогичного
устанавливаемому в компьютерных классах школ города и
Университета «Дубна» в рамках проекта «Дубна-Грид».
• Установка программного обеспечения LCG и OSG и
интеграция с тестовой инфраструктурой УНЦ ОИЯИ
(NorduGrid).
• Разработка положения о структуре и порядке
функционирования Грид-лаборатории.
• Проработка методики лабораторных работ (практикума).
Основные параметры проекта
Сроки реализации
2004 – 2007 гг.
Основные параметры
Общая производительность городского метакластера
2 Терафлоп
Количество узлов метакластера
1500 единиц
Протяженность сетевой магистрали города
32 км
Общий объем памяти на жестких дисках:
30 Тбайт (серверный дисковый массив)
30 Тбайт (распределенный дисковый массив)
Объем оперативной памяти одного Грид-узла
1 Гбайт
Динамика параметров проекта
Параметры/годы
2005
2006
2007
Количество
задействованных
Грид-узлов
200
900
1500
Основные этапы реализации проекта
• Создание
пула
вычислительных
узлов,
находящихся
администрированием в общем адресном пространстве;
под
единым
• Разработка технологий по реализации раздельного администрирования офисных
компьютеров и узлов Грид-инфраструктуры на базе программных оболочек
виртуальных машин;
• Создание прототипа метакластера, объединяющего ресурсы различных организаций;
• Разработка технологий массовой инсталляции и распространение программного
обеспечения на все доступные узлы городской инфраструктуры;
• Установка на узлах метакластера различных Грид-систем и предоставление этих
ресурсов пользователям других Грид-проектов, таких как LCG, NorduGrid, EGEE, OSG
и др.
• Организация подготовки специалистов в области Грид-технологий. Организация
семинаров, лекций и демонстраций.
Планы на 2005 год
• Доведение общего количества узлов до 200 единиц,
• Отработка технологии распределенных вычислений,
• Создание системы мониторинга состояния метакластера,
• Ввод в эксплуатацию канала передачи данных Дубна – Москва
со пропускной способностью 1 Гбит в секунду,
• Проведение тестовых масштабных расчетов на примерах
крупных задач в области физики частиц высоких энергий,
ядерной физики и биологии,
• Создание системы массовой памяти,
Планы на 2005 год
• Проведение тестовых испытаний производительности системы
«Дубна-Грид»,
• Создание единого диспетчерского пункта пожарной
сигнализации видеонаблюдения компьютерных классов города,
• Создание тестового сегмента в ЛИТ ОИЯИ (Грид-лаборатория)
• Организация центра технической поддержки аппаратной и
сетевой инфраструктур общеобразовательных школ,
• Проработка вопроса об участии в проекте фирм Oracle, Intel и
IBM.
Организационные проблемы
1. Обеспечение круглосуточного режима работы узлов
метакластера
Круглосуточный режим работы (в классах работают дети) требует
контроля за температурным режимом в помещении и установки
улучшенной системы вентиляции или кондиционирования, решения
проблемы высокого уровня шума в помещении.
2. Подготовка системных администраторов компьютерных классов
Внедрение незнакомого для системных администраторов школьных
классов программного обеспечения, невозможность определить причину
сбоев в работе оборудования вносит дополнительную напряженность в
текущую эксплуатацию классов и проведения в них плановых занятий.
Обучение школьных специалистов основам Грид-технологий является
обязательным условиям дальнейшей успешной работы.
Организационные проблемы
3. Необходимость создания сетей пожарной сигнализации с
организацией круглосуточного мониторинга в масштабах города
Поддержка круглосуточной работы классов в условиях отсутствия
визуального наблюдения за состоянием техники в ночное время диктует
необходимость разработки и внедрения сетей пожарной сигнализации и
организации круглосуточной дежурной смены для мониторинга
состояния всех, использующихся для вычислений, компьютеров
городской сети.