Слайд 1 - Дубна-Грид

Состояние дел по реализации проекта
Дубна-Грид
Долбилов А.Г., Крюков Ю.А., Мицын В.В.
21.07.2005, Дубна, ОИЯИ
Методы создания вычислительных
(мета) кластеров
• Выделенное оборудование с собственной
•
•
•
•
сетевой инфраструктурой
Разделяемое по времени оборудование с
общим доступом к ресурсам
Виртуальное объединение оборудования в
глобальных сетях
Виртуальное объединение виртуального
оборудования
Основная цель: максимально эффективно и с
наименьшими затратами решить
поставленные задачи
Мотивации и цели
• Использование Windows для решения
•
•
•
вычислительных задач нецелесообразно
Свободные (частично) ресурсы ЦПУ и сети
можно и нужно использовать
Существуют реальные технологии
виртуализации вычислительных и сетевых
ресурсов
Необходимо: объединить несколько
технологий и имеющиеся (потенциально)
ресурсы в вычислительный (мета) кластер
(Дубна-Грид)
Программные технологии
•
•
•
•
•
VMware – виртуальная машина
VLAN – виртуальная сеть
AFS – виртуальный доступ к ПО и данным
Warewulf – интеграция установки и загрузки
всего мета кластера
Проблемы: не все технологии “дружат” друг с
другом, необходима существенная работа по
“притирке”
Начальный этап
• Сервер в Университете
• Расширение ОЗУ на рабочих станциях
• ~20 РС в Университете
• Предварительная установка и настройка
ПО: Linux, Warewulf, сетевого окружения
• К началу июля 2004 завершен начальный
этап: успешная загрузка ОС на 20 РС
Создание инфраструктуры мета
кластера
• Установка и отладка системы пакетной
обработки (Torque + Maui)
• Отладка подключения РС к AFS
• Установка 2-ого сервера – моста для
подключения машин в школах города
• Подключение 2-х школ города к ноябрю
2004
• Синхронизация времени на всех
машинах мета кластера
Решенные проблемы
• Установка VMware в стандартный образ
Windows 2000
• Автоматизация присваивания сетевых
адресов в VMware
• Подгонка приоритетов выполнения
процессов в VMware
• Подбор антивирусного ПО для Windows
не конфликтующего с VMware
Проблемы решенные (решаемые)
• Необходим детальный мониторинг состояния
•
•
•
кластера уже на начальном этапе отладки
Применяемый процесс загрузки РС не позволяет
одновременную массовую загрузку
Требуется создание тестового кластера сходной
конфигурации
Требуется ПО создания контрольных точек
программы в системе пакетной обработки
Проблемы (неожиданные)
• В Университете студенты выключают РС по
•
•
•
•
своему усмотрению
В школах города на РС накоплен большой
объем собственной информации
В университете большие проблемы с
электропитанием
В школах города большие проблемы с
технической поддержкой РС и сетей
Выводы: …
Не совсем по теме…
• Виртуальные структуры иногда
пересекаются в неожиданных
плоскостях
• Живой и здоровый организм не любит и
не терпит паразитов
• Симбиоз должен быть основным
правилом сосуществования живых
структур, хотя бы и виртуальных
Текущее состояние
• 2 сервера для поддержки
инфраструктуры мета кластера
• 146 РС (сконфигурировано)
• ПО мета кластера отлажено и
проверено на реальных задачах
• Сетевая инфраструктура отлажена и
успешно поддерживает виртуальную
сеть мета кластера
Текущее состояние (продолжение)
• Успешно внедрена система детального
•
•
•
мониторинга важнейших параметров мета
кластера
Создана домашняя страница в Интернете
Максимальное наполнение кластера - ~40 РС
Создается тестовая установка в ЛИТ ОИЯИ,
для отладки новых элементов основного мета
кластера
Логическая структура
Что здесь виртуально
• Каждая РС (Университет, школы) работает
•
•
•
одновременно с 2-мя ОС: Windows 2000 и
Linux SLC3
Параллельно основной сети Университета и
школ работает виртуальная сеть проекта
Дубна-Грид
Ос Windows 2000 и основная сеть школ
(Университета) образуют одну структуру
ОС Linux и виртуальная сеть – вторую,
параллельную первой
Ближайшие перспективы
• Существенное расширение мета
кластера (до 80-100 РС)
• Создание тестового прототипа в ЛИТ
ОИЯИ
• Внедрение нового метода загрузки РС
(новая версия Warewulf)
• Доработка базового состава ПО РС для
расширения круга решаемых задач
пользователей
Ссылки на ресурсы в Интернет
• Домашняя страница проекта Дубна-Грид:
http://dubna-grid.jinr.ru/
• Мониторинг мета кластера:
http://dgrsrv.jinr.ru/ganglia/
• Интеграционное ПО Warewulf:
http://warewulf.lbl.gov/pmwiki/