Параллельные вычисления - Введение

Нижегородский государственный
университет
Разработка интегрированной среды
высокопроизводительных вычислений
для кластера
Нижегородского университета
В.П.Гергель, А.Н.Свистунов
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Проблема эффективного
использования
•Удаленный доступ
•Эффективное управление
вычислительными задачами
•Мониторинг
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Исследовательские задачи
•Создание испытательного стенда для проведения
экспериментов по апробации алгоритмов
планирования задач на кластерных системах
Кластер ННГУ - неоднородный
•Интеграция с кластером ИПФ РАН
Кластер ННГУ(Windows)
Кластер ИПФ РАН (UNIX)
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Системы управления
кластером
• Существующие системы
– LSF
– ClusterCoNTroller
–…
Проблемы - высокая стоимость,
закрытость
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Интегрированная среда
высокопроизводительных
вычислений
internet
ParaLab
AbsExpert
Laptop computer
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Linpack
Макетный вариант
• Реализация набора необходимых операций
• Простой и удобный способ доступа, позволяющий
получить доступ к системе из любой точки;
• Собственная система авторизации пользователей не
связанная напрямую с системой авторизации
операционной системы;
• Система очередей задач;
• Сохранение задач пользователя после их выполнения и
возможность их повторного запуска;
• Автоматическое сохранение результатов работы;
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Архитектура системы
Метакластер
Менеджер доступа
Диспетчер заданий
База данных пользователей
База данных ресурсов
Менежжер (сервер)
Менеджер (клиент)
Очередь заданий
Супервизор кластера
Монитор кластера
Активатор заданий
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Планировщик
Менеджер доступа
Взаимодействует с пользователем
Позволяет:
•ставить задачу в очередь
•удалять задачи из очереди
•просматривать статус задач
•…
Ведет базу данных пользователей и
ресурсов
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Диспетчер заданий
В соответствии с принятой стратегией
планирования распределяет задачи из
очереди задач по узлам кластера
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Супервизор кластера
•Запускает задачи
•Осуществляет мониторинг кластера
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Достигнутые результаты
• Поддержка минимально - необходимого набора
операций по управлению задачами пользователей;
• Возможность доступа к системе с любого компьютера,
подключенного к сети Интернет;
• Использование в качестве клиента web-браузера, telnetклиента, различных специализированных программ;
• Хранение очереди заданий во внешней базе данных
• Возможность замены планировщика и изменения
стратегии планирования;
• Ведение статистики использования задачами
пользователей вычислительных ресурсов кластера;
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002
Перспективы
 Расширение функциональности системы,
производящееся в тесном контакте с конечными
пользователями;
 Исследования в области различных алгоритмов
планирования;
 Оптимизация процесса мониторинга ресурсов
кластера;
 Исследование подходов к созданию шлюза между
кластером ННГУ и кластером ИПФ РАН;
Н.Новгород, Международный научнопрактический семинар, ноябрь 2002