CIC - Проект EGEE

Enabling Grids for E-sciencE
Проект EGEE – новый этап
развития GRID технологий в
Европе
С.Б. Олешко (ПИЯФ РАН)
www.eu-egee.org
Основные цели проекта EGEE
Enabling Grids for E-sciencE
Основная цель проекта EGEE - объединить национальные,
региональные и тематические грид-разработки в единую
цельную грид-инфраструктуру для поддержки научных
исследований.
Предоставить исследователям круглосуточный доступ к
вычислительным ресурсам независимо от их географического
положения. Пользоваться инфраструктурой смогут
сообщества исследователей, которые готовы объединить
свои собственные вычислительные мощности и согласны с
принципами общего доступа.
Проект поддерживают финансирующие учреждения ЕС, но
предназначен он для работы во всем мире. Значительные
средства поступают от США, России и других участников
проекта, не входящих в ЕС.
2
Основные задачи проекта EGEE
Enabling Grids for E-sciencE
• Сохранить научно-технические результаты предыдущих Гридпроектов
• Не отстать от США и Японии во внедрении Грид технологий в
Европе
• Сохранить технические и кадровые ресурсы от предыдущей
EU программы (FP5)
• Обеспечить развитие от R&D GRID ПО и тестовых структур к
индустриальному ПО и созданию высокопроизводительной
продукционной Грид инфраструктуры
• Гармонизировать национальные и интернациональные
активности в развитии Грид технологии в рамках этого
проекта
3
Партнёрские федерации EGEE
Enabling Grids for E-sciencE
11 федераций, 27 стран, 70 организаций
4
Ключевые направления проекта
Enabling Grids for E-sciencE



Формирование согласованной, устойчивой и
защищённой вычислительной сети;
Совершенствование программных средств
промежуточного программного обеспечения с
целью обеспечения надежного обслуживания
пользователей;
Привлечение новых пользователей из других сфер
деятельности и обеспечение им высокого стандарта
обучения и поддержки.
5
Временные рамки проекта
Enabling Grids for E-sciencE
Бюджет ЕС - 32M€ на 2 года
Апрель 2004: проект стартовал
6
EGEE и другие GRID - проекты
Enabling Grids for E-sciencE
Инфраструктура EGEE будет построена на
исследовательской сети Европейского союза (ЕС)
GEANT и в ней будет использован опыт, накопленный в
таких проектах, как DataGrid, Datatag, Crossgrid,
поддержанных ЕС; в национальных проектах, например,
e-Science (Британия), INFN Grid (Италия), Nordugrid
(Северная Европа ) и американском Trillium. Она
обеспечит возможность совместной работы с другими
системами во всём мире, включая США и Азию, что
будет способствовать установлению всемирной GRIDинфраструктуры.
7
Виды деятельности в EGEE
Enabling Grids for E-sciencE
24% исследовательские разработки
JRA1 – перепроектирование и интеграция промежуточного ПО
JRA2 – обеспечение качества
JRA3 – безопасность
JRA4 – разработка сетевых сервисов
28% сервисы
NA1 – руководство проектом
NA2 – распространение
информации и расширение круга
пользователей
NA3 – обучение и включение в
число пользователей
NA4 – идентификация и поддержка
приложений
NA5 – политика и международное
сотрудничество
48% поддержка и развитие
существующих сетей и гридов
SA1 – поддержка, эксплуатация и управление европейскими Грид-системами
SA2 – обеспечение сетевых ресурсов
8
Использование результатов
Enabling Grids for E-sciencE
•Масштаб применения
результатов EGEE:
академические (также открыто
для индустриальных и
социоэкономических сообществ)
•Главный критерий успеха
проекта - количество
пользователей и количество
областей применения: 5000
пользователей (3000 после 2-ух
лет), как минимум - 5 областей
применения
9
Пилотные приложения
Enabling Grids for E-sciencE
Для координации внедрения и официальной
оценки эксплуатационных качеств и
функциональности создаваемой
инфраструктуры были выбраны две
пилотные области:
– вычислительный грид для большого
адронного коллайдера БАК ( LHC - Large
Hadron Collider Computing Grid) в ЦЕРН, где
вычислительная модель основывается
исключительно на Грид-инфраструктуре для
хранения и анализа петабайтов данных
– биомедицинские гриды, где несколько
сообществ должны решать одинаково
трудные задачи, чтобы справиться с
колоссальным потоком биоинформационных
и медицинских данных.
10
Роль ЦЕРНа в проекте EGEE
Enabling Grids for E-sciencE
Эксперименты на LHC
предполагают беспрецедентное
использование компьютеров
LHC Computing GRID (LCG проект)
и GRID технологии являются
ответственностью CERN
По этим принципам CERN
является головным партнером
в EGEE проекте
11
Эксперименты LHC
Enabling Grids for E-sciencE
12
Эксперименты на LHC
Enabling Grids for E-sciencE
ATLAS
CMS
При ожидаемой скорости записи сырых данных
потребуются ресурсы для хранения данных
порядка десятков и сотен ПБ.
ALICE
Для обработки данных потребуются
LHCb
LHCb
сотни тысяч персональных
компьютеров
(максимальной на текущий момент производительности)
13
Данные LHC
Enabling Grids for E-sciencE
Ожидаемый объём данных – 10
петабайт (1 петабайт =~1015
байт) в год. Это примерно в
1000 раз больше, чем объём
информации, которая
содержится в книгах,
напечатанных во всём мире за
год и ~10% всей информации,
которую “производит”
человечество за год.
Для обработки и анализа данных
потребуется ~100000 PC
ежедневно.
14
Управление ГРИД EGEE
Enabling Grids for E-sciencE
•Операционный центр управления
(OMС)
- ЦЕРН - общая координация
•Центры базовой инфраструктуры
(CIC) - 5 центров
- Великобритания, Франция, ЦЕРН,
Италия, Россия
- обеспечение постоянной (24x7)
работы базовых грид-служб,
мониторинг системы;
- реализация и контроль за
выполнением правил,
выработанных OMS
- обеспечение поддержки узлов 2го уровня
• Региональные операционные
центры (ROC) ~ 11 центров
- поддержка пользователей и
администраторов ресурсов
- координация региональных
ресурсов
15
Ресурсные центры
Enabling Grids for E-sciencE
RC
RC
RC
ROC
RC
RC
RC
RC
RC
ROC
RC
CIC
CIC
CIC
CIC
RC
RC
OMC
CIC
RC
CIC
RC
ROC
RC
RC
RC
RC
RC
ROC
RC
RC
RC = Resource Centre
16
Участие России в проекте EGEE
Enabling Grids for E-sciencE
В целях обеспечения полномасштабного участия
России в этом проекте был образован
консорциум РДИГ (Российский ГРИД для
интенсивных операций с данными – Russian
Data Intensive GRID, RDIG) для эффективного
выполнения работ по проекту и развитию в
России инфраструктуры EGEE, с
вовлечением на следующих этапах проекта
других организаций из различных областей
науки, образования и промышленности.
Консорциум РДИГ, согласно принятой в проекте
EGEE структуре, входит в проект в качестве
региональной федерации “Россия” (“Russia).
17
Участники РДИГ
Enabling Grids for E-sciencE
• ИФВЭ (Институт физики высоких
энергий, Протвино)
• ИМПБ (Институт математических
проблем биологии, Пущино)
• ИТЭФ (Институт теоретической и
экспериментальной физики, Москва)
• ОИЯИ (Объединенный институт ядерных
исследований, Дубна)
• ИПМ (Институт прикладной математики,
Москва)
• ПИЯФ (Петербургский институт ядерной
физики, Гатчина)
• ИАЭ (Институт атомной энергии, Москва)
• НИИЯФ МГУ (Научно-исследовательский
институт ядерной физики МГУ, Москва)
18
Вклад РДИГ в EGEE
Enabling Grids for E-sciencE
• РДИГ является операционной и функциональной
частью EGEE (CIC, ROC, RCs)
• Виды деятельности:
– SA1 - Поддержка, эксплуатация и управление
европейскими ГРИД-системами
– SA2 - Обеспечение доступа к сетевым ресурсам
– NA2 - Распространение информации и расширение круга
пользователей
– NA3 - Обучение и включение в число пользователей
– NA4 - Идентификация и поддержка приложений
19
Первые итоги проекта (ресурсы)
Enabling Grids for E-sciencE
Country providing resources
Country anticipating joining EGEE/LCG
In EGEE-0 (LCG-2):
 > 100 sites
 > 10,000 CPUs
 > 5 PB storage
20
Первые итоги проекта (приложения)
Enabling Grids for E-sciencE
• Кроме приложений LHC другие эксперименты ФВЭ
(D0, CDF, Zeus, Babar) активно работают в ГРИД
• Расширилось количество биомедицинских
приложений
• Добавились новые ВО(виртуальные организации) –
науки о Земле, вычислительная химия,
астрофизика, геофизика, астрономия
• Общее число зарегистрированных членов ВО – 500
• Появилось множество региональных ВО, которые
поддерживаются инфраструктурой EGEE
• Готовится к выходу первая версия gLite – ППО для
EGEE
21
Первые итоги проекта (мониторинг)
Enabling Grids for E-sciencE
22
Первые итоги проекта для России
Enabling Grids for E-sciencE
• Первая реальная ГРИД-инфраструктура в России
• Первый ГРИД-проект всероссийского уровня ,
поддержанный Правительством России
• Научные и образовательные учреждения из
различных областей (науки о Земле, химия, космос,
…) проявили заинтересованность в участии в
проекте
• Для участников – опыт работы в большом
общеевропейском проекте по эгидой ЕС
23
Интернет ресурсы
Enabling Grids for E-sciencE
•
•
•
•
•
•
•
•
•
•
•
•
GLOBAL GRID FORUM: http://www.gridforum.org
European GRID FORUM: http://www.egrid.org
EU DATAGRID: http://www.eu-datagrid.org
DATATAG: http://www.datatag.org
GLOBUS:
http://www.globus.org
GriPhyn:
http://www.griphyn.org
CrossGRID: http://www.crossgrid.org
LCG:
http://lcg.web.cern.ch/LCG/
EGEE:
http://www.eu-egee.org
EGEE-RDIG: http://www.egee-rdig.ru
PNPI EGEE: http://egee.pnpi.nw.ru
Grid club:
http://www.gridclub.ru/
24