Keldysh Institute of Applied Mathematics Russian Academy of Sciences ПОЛИГОН ГРИД В ИПМ РАН И РАЗРАБОТКА МЕТОДОВ УПРАВЛЕНИЯ РЕСУРСАМИ В ГЛОБАЛЬНОЙ СРЕДЕ Коваленко В.Н., Корягин Д.А. Институт прикладной математики им. М.В.Келдыша РАН [email protected], [email protected] 1 1 Ключевые точки развития Грид Catlett, C. and Smarr, L. Metacomputing. Communications of the ACM, 35 (6). 44--52.1992. Ian Foster, Carl Kesselman, Globus: A Metacomputing Infrastructure Toolkit, International Journal of Supercomputer Applications, 11(2): 115128, 1997. The DataGrid Project, 2000. Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International Journal of High Performance Computing Applications, 15 (3). 200-222. 2001. Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. 2 2 Вычислительный узел №1 (Миусская площадь) Рабочие места пользователей . . . Рабочие места . . . . . . Рабочая станция С-180 Локальный интерфейс Глобальный интерфейс К -server D -server Доступ через Internet CONVEX 1600 Рабочая станция С-180 Ленточный робот RAID Сетевой кластер PBS NFS Локальная сеть 3 Глобальная сеть 3 Вычислительный узел №.2 (Калужская) Рабочие места пользователей Рабочие места пользователей . . . . . . . . . Рабочая станция Локальный интерфейс Fire Глобальный интерфейс Доступ через Internet Рабочая станция Рабочая станция Рабочая станция Рабочая станция Fire03 Fire02 Fire01 Fire (2 CPU) (2 CPU) (2 CPU) (2 CPU) Сетевой кластер PBS NFS Локальная сеть 4 Глобальная сеть 4 • Пользователь находится в точке А, но может считать на процессорах в точке B и, возможно, С. Программа для счета хранится на файл-сервере в точке E, а данные должны браться из базы, размещенной в точке E1. 5 Globus Toolkit 2.x Управление заданиями (протокол Gram) Передача файлов (GridFTP) Информационное обслуживание (GIS) Безопасность (SSL) 6 5 Протокол GridFTP: глобальная безопасность, основанная на протоколе SSL частичное чтение/запись файлов возобновляемая передача параллельная многопотоковая передача 7 6 Многоуровневая распределенная информационная служба ИПМ РАН Вычислительный узел №.1 Информационная база ресурсов Вычислительный узел №.2 GRIS GRIS Информационная база ресурсов GIIS GIIS Russian DataGrid (SINP MSU) GII S ( CERN ) 8 8 Грид: “Грид является согласованной, открытой и стандартизованной средой, которая обеспечивает гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации – то есть динамически формирующейся совокупности независимых пользователей, учреждений и ресурсов. Среда Грид должна обеспечивать определенный гарантированный уровень обслуживания (QoS)“ 9 9 Globus Toolkit 3.0 Open Grid Service Architecture (OGSA): Архитектура Грид: взамодействующие между собой сетевые службы со стандарти-зированными интерфейсами. Грид становится открытым и расширяемым. Службы Грид строятся на основе Webсервисов. 10 10 Слои архитектуры Grid: Связи Управления ресурсами Удаленного доступа к ресурсам Кооперации Координации 11 11 Запуск заданий через Globus Запуск заданий через Метадиспетчер Broker 12 12 Задача планирования для Грид Решается на двух динамических множествах: 1) множестве заданий и 2) множестве ресурсов. Результаты планирования: - Время запуска каждой задачи - Место, где должна выполняться задача 13 13 Специфика планирования в Грид большое количество объектов планирования (заданий и ресурсов); глобальная распределенность этих объектов; отсутствие прямого доступа к ресурсам: ими управляют локальные диспетчеры. Кроме того, организация Грид основана на принципе автономии, согласно которому владельцы ресурсов выделяют для использования в Грид только их часть, оставляя остальные для внутренних (локальных) заданий. - 14 14 Два уровня управления – локальный и глобальный, каждый с собственными объектами: задание, очередь, и система управления – Локальный монитор ресурсов (LRM) и Метадиспетчер. Global Config. queue job MetaDispatcher job Config. file job Local queue job LRM Local level Global level 15 15 Расписание Resource Running job priority3 Running job Running job priority1 priority2 priority4 Future Time Локальное расписание – это план занятия ресурсов локальными заданиями на определенный период времени в будущем. 16 16 Программная архитектура планирования Data Base Agent Global queue LRM Agent job Scheduler job Agent job LRM job Queue LRM 17 17 Грид имеет перспективу Чтобы ее реализовать на практике, можно работать в трех областях: • Определение и разработка сервисов, поддерживающих функционирование Грид • Применения Грид • Создание адекватной телекоммуникационной инфраструктуры 18 18 Вопрос: Будет ли Грид полезен для Интернет? 1. 2. 3. 4. Новые типы распределенных приложений Новые способы создания приложений Общие службы – на всех уровнях и, в том числе на уровнях кооперации и координации Активное управление телекоммуникациями 19 19 Литература 1. 2. 3. 4. 5. 6. 7. Catlett, C. and Smarr, L. Metacomputing. Communications of the ACM, 35 (6). 44--52.1992. Ian Foster, Carl Kesselman, Globus: A Metacomputing Infrastructure Toolkit, International Journal of Supercomputer Applications, 11(2): 115128, 1997. http://www.globus.org The DataGrid Project: http://eu-datagrid.web.cern.ch/eu-datagrid/ Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International Journal of High Performance Computing Applications, 15 (3). 200-222. 2001. www.globus.org/research/papers/anatomy.pdf. Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. http://www.globus.org/research/papers/ogsa.pdf С.А.Богданов, В.Н.Коваленко, Е.В.Хухлаев, О.Н.Шорин, “Метадиспетчер: реализация средствами метакомпьютерной системы Globus”. Препринт ИПМ РАН, № 30, стр. 1-23, Москва, 2001 V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii, A.V.Orlov, E.V.Huhlaev, “Resource Manager for Grid with global job queue and with planning based on local schedules”, VIII International Workshop on Advanced Computing and Analysis Techniques in Physics Research, ACAT’2002 Book of Abstracts, 24-28 June, 2002, Moscow, p. 31. 20 20 Список трудов 1. 2. 3. 4. 5. Коваленко В.Н., Корягин Д.А. Вычислительная инфраструктура будущего. Открытые системы, № 11-12 (1999), стр. 45-52, http://www.osp.ru/os/1999/11-12/045.htm Хухлаев Е.В. “Metamake – средство подготовки программ в сетевой гетерогенной среде”. Препринт ИПМ РАН, № 28, стр. 1-32, Москва, 1999 Коваленко Коваленко В.Н. Проблемы сетевых файловых систем. Открытые системы, №3 (1999), стр. 9-15, http://www.osp.ru/os/1999/03/03.htm В.Н., Коваленко Е.И. Пакетная обработка заданий в компьютерных сетях. Открытые системы, № 7-8 (2000), стр. 1-19 М.К. Валиев, Е.Л. Китаев, М.И.Слепенков. « Служба директорий LDAP как инструментальное средство для создания распределенных информационных систем». Препринт ИПМ РАН, № 23, стр. 1-22, Москва, 2000 21 21 6. 7. 8. 9. 10. Коваленко В.Н., Коваленко Е.И., Корягин Д.А, Любимский Э.З., Хухлаев Е.В., Управление заданиями в распределенной вычислительной среде. Открытые системы, № 5-6 (2001), стр. 22-28, http://www.osp.ru/os/2001/05-06/022.htm С.А.Богданов, В.Н.Коваленко, Е.В.Хухлаев, О.Н.Шорин, “Метадиспетчер: реализация средствами метакомпьютерной системы Globus”. Препринт ИПМ РАН, № 30, стр. 1-23, Москва, 2001 В.Н.Коваленко, А.В.Орлов, “Управление заданиями в распределенной среде и протокол резервирования ресурсов”. Препринт ИПМ РАН, № 1, стр. 1-25, Москва, 2002 В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, А.В. Орлов, Е.В. Хухлаев, “ Структура и проблемы развития программного обеспечения среды распределенных вычислений Грид ”. Препринт ИПМ РАН, № 22, стр. 1-23, Москва, 2002 V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii, A.V.Orlov, E.V.Huhlaev, Resource manager for GRID with global job queue and with planning based on local schedules, Nuclear Inst. and Methods in Physics Research, A, vol. 502/2-3, pp 411 – 414, Elsevier Science, 2003 22 22