GRIS - Indico

Enabling Grids for E-sciencE
Информационная система
Бережная А., Котляр В.
Институт физики высоких энергий
г. Протвино
www.eu-egee.org
EGEE-II INFSO-RI-031688
Службы gLite
Enabling Grids for E-sciencE
CLI
API
Доступ
Информация
и Мониторинг
Авторизация
Аутентификация
Службы
Безопасности
Каталог
Каталог
Метаданных файлов и реплик
Storage
Element
Перемещение
данных
Управление данными
EGEE-II INFSO-RI-031688
Службы
Обнаружения
Службы
информации и мониторинга
Computing
Element
Управление
загрузкой
Службы управления заданиями
EGEE Tutorial for grid users 30.11.2007
2
Информационная система (ИС)
Enabling Grids for E-sciencE
• Что?
– Система сбора информации о состоянии ресурсов.
• Зачем?
– Для получения информации о Грид-ресурсах и их статусе.
– Для получения информации о вашем задании.
– Сопоставлять запросы задания и доступные Грид-ресурсы
• Как?
–Мониторинг и публикация новых данных относительно состояния
ресурса
–Известная/стандартная модель данных
• Кто?
– Пользователи, ищущие конкретный ресурс.
– RB/WMS распределяющие и управляющие заданиями.
– Другие сервисы мониторинга
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
3
Сервисы ИС
Enabling Grids for E-sciencE
• Модель данный gLite основана на Grid Laboratory
Uniform Environment (GLUE) Schema
• В gLite используются 2 основных ИС :
– Berkeley DB Information Index (BDII)




Сбора информации
сохранения информации о ресурсах
публикации их статуса.
построена на основе LDAP (Light-weight Directory Access Protocol),
специализированной базы данных, оптимизированной для чтения, поиска
и получения информации.
– Relational Grid Monitoring Architecture (R-GMA) для



сбора
мониторирования
публикации информации пользовательского уровня.
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
4
GLUE Schema
Enabling Grids for E-sciencE
• Описывает информацию Грид-ресурсов, сохраненную в ИС
• Основные программные компоненты разработанны так, чтобы
быть частью базового middleware ГРИД каждого проекта.
• GLUE не требует сборки полной системы middleware, а выбирает
компоненты так, чтобы решить конкретные вопросы
интероперабельности
• Существующая версия отображена в
–LDAP
–XML
–ClassAd (Condor Matchmaking language)
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
5
Структура GLUE Schema
Enabling Grids for E-sciencE
Основные объекты
Site
+UniqueID:string
+Name:string
+Description:string
+EmailContact:string
+UserSupportContact:string
+SysAdminContact:string
+...
*
Service
+UniqueID:string
+Name:string
+Type:serviceType_t
+Version:string
+Endpoint:uri
+...
*
*
Storage Element
Computing Element
+UniqueID:string
+Name:string
+Architecture:SEArch_t
+SizeTotal:int32
+SizeFree:int32
+InformationServiceURL:string
+Port:int32
+...
+UniqueID:string
+Name:string
+ImplementationName:CEIm
pl_t
+Info.LRMSType:lrms_t
+Info.LRMSVersion:string
+Info.GRAMVersion:string
+...
* data
Service
+Key:string
+Value:string
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
6
Примеры GLUE Schema(I)
Enabling Grids for E-sciencE
Атрибуты для CE
¤ Базовый Класс для CE (objectclass: GlueCETop) : нет атрибутов
¤ CE (objectclass: GlueCE)
• GlueCEUniqueID: уникальный идентификатор CE
• GlueCEName:
удобочитаемое имя сервиса
¤ CE Status (objectclass: GlueCEState)
• GlueCEStateRunningJobs: количество запущенных заданий
• GlueCEStateWaitingJobs: количество ждущих заданий
• GlueCEStateTotalJobs:
общее количество заданий (running + waiting)
• GlueCEStateStatus:
состояние очередей:
• в очереди
• работают
• закрыты
• …..
• GlueCEStateWorstResponseTime:
наихудшее возможное время между представлением задания и
началом его выполнения
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
7
Примеры GLUE Schema (II)
Enabling Grids for E-sciencE
Атрибуты для SE
¤
Базовый класс (objectclass: GlueSETop) : нет атрибутов
¤ Aрхитектура (objectclass: GlueSLArchitecture)
– GlueSLArchitectureType: тип оборудования (диск, ленты, ….)
¤ Протокол доступа (objectclass: GlueSEAccessProtocol)
– GlueSEAccessProtocolType: тип протокола доступа или передачи файлов
– GlueSEAccessProtocolPort: номер порта
– GlueSEAccessProtocolVersion: версия протокола
– GlueSEAccessProtocolAccessTime: время доступа к файлу по этому протоколуl
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
8
Примеры GLUE Schema (III)
Enabling Grids for E-sciencE
Смешанные атрибуты
¤
Связь между CE и одним или более SE (objectclass: GlueCESEBindGroup)
– GlueCESEBindGroupCEUniqueID: уникальный ID для CE
– GlueCESEBindGroupSEUniqueID: уникальный ID для SE
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
9
GRISs, Site-BDII и BDII
Enabling Grids for E-sciencE
http://www.XXX.org/index.conf
Top
BDII
Top
BDII
Top
BDII
Information Index
Top Level
Site Level
Site 3
Site 2
Site-BDII
Site 1
GIIS
CE
GRIS
SE
GRIS
MON
GRIS
Site N
Site-BDII
GIIS
CE
GRIS
SE
GRIS
MON
GRIS
WMS
GRIS
LFC
GRIS
FTS
GRIS
Resource Level
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
10
GRISs, Site-BDII и BDII
Enabling Grids for E-sciencE
• Resource level: Grid Resource Information Server (GRIS)
– GRIS запущен на каждом CE, SE, RB, MyProxy, etc..
– Plugins собирают статическую и динамическую информацию об
определенном ресурсе и делают ее доступной, чтобы быть
опубликованной GRIS.
• Site level: Grid Index Information Server (GIIS)
–
–
–
–
Собирает информацию со всех GRIS's сайта.
Сохраняет эту информацию на Berkeley DB.
Делает ее доступной для Top level Information Index.
Называется site BDII.
• Top level: Berkeley DB Information Index (BDII)
– Собирает информацию со всех GIIS's.
– Сохраняет эту информацию Berkeley DB.
– Опрашивает только сайты, которые определены в файле
конфигурации (доступны через http).
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
11
LDAP
Enabling Grids for E-sciencE
• Поддерживается специальный язык запросов, который может
быть использован для получения информации из ИС
(ldapsearch)
• Запрос определяет способ передачи и формат сообщений,
используемых клиентом для доступа
• LDAP может использоваться, как протокол доступа для
большого числа баз данных
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
12
Структура данных LDAP
Enabling Grids for E-sciencE
► Lightweight Directory Access Protocol:
древовидная структура данных
o = grid (корень DIT)
►DIT (Directory Information Tree)
c= US c=Switzerland c=Spain
►Путь от узла к корню DIT определяет
встроенное уникальное имя ( DN):
st = Geneva
“id=pml,ou=IT,or=CERN,st=Geneva,\
c=Switzerland,o=grid”
or = CERN
ou = IT
objectClass:person
cn: Patricia M. L.
phone: 5555666
office: 28-r019
EGEE-II INFSO-RI-031688
id = pml
ou = EP
id=gv
EGEE Tutorial for grid users 30.11.2007
id=fd
13
Недостатки LDAP
Enabling Grids for E-sciencE
LDAP не поддерживает агрегатные запросы на
различные объекты
• запрос основывается только на атрибутах объекта.
• MDS не позволяет приложениям добавлять свои
собственные данные
• относительно статичное описание данных для публикации схема
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
14
R-GMA
Enabling Grids for E-sciencE
R-GMA: Relation Grid Monitoring Architecture
 Динамические данные о заданиях
 Использует реляционную модель данных, которая очень
гибкая и позволяет строить сложные запросы
–
–
–
–
Данные представляются в виде таблиц.
Структура данных определяется по колонкам.
Каждая запись есть строка (tuple).
Язык запросов - Structured Query Language (SQL).
 Поддерживает различные типы запросов:
– streams
– archives
– latest-value
 R-GMA обеспечивает средства для любого, кто хочет
опубликовать свою информацию о Грид.
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
15
Системы мониторинга
Enabling Grids for E-sciencE
http://rocmon.jinr.ru:8080/
Cистема учета использования ресурсов
для LCG-сайтов РДИГ.
Доступна статистика по:
выполненным на сайтах задачам от различных виртуальных
организаций
затраченному процессорному времени
средним значениям использованной физической памяти
времени нахождения задач в очереди.
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
16
Мониторинг РДИГ
Enabling Grids for E-sciencE
http://rocmon.jinr.ru:8080/
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
17
Мониторинг Грид
Enabling Grids for E-sciencE
http://goc.grid.sinica.edu.tw/gstat/
Информационное состояние системы EGEE,
отслеживаемое Грид операционным центром в
Тайбее.
Частота обновления информации – 5 минут
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
18
Грид операционный центр
Enabling Grids for E-sciencE
http://goc.grid.sinica.edu.tw/gstat/
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
19
Мониторинг Грид
Enabling Grids for E-sciencE
http://gridportal.hep.ph.ic.ac.uk/rtm/applet.html
Java апплет, отображающий real-time прохождение
задач в LCG
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
20
Real-time мониторинг
Enabling Grids for E-sciencE
http://gridportal.hep.ph.ic.ac.uk/rtm/applet.html
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
21
Enabling Grids for E-sciencE
Спасибо за внимание
EGEE-II INFSO-RI-031688
EGEE Tutorial for grid users 30.11.2007
22