Слайд 1 - Объединенный институт ядерных исследований

Концепция GRID; cоздание
российского сегмента глобальной
системы распределенных
вычислений
Кореньков В.В.
Концепция GRID
В настоящее время в мире интенсивно развивается
концепция GRID - компьютерной инфраструктуры нового
типа, обеспечивающей глобальную интеграцию
информационных и вычислительных ресурсов на основе
создания и развития промежуточного программного
обеспечения (middleware) нового поколения.
Основная задача GRID - создание протоколов и сервисов
для обеспечения надежного и безопасного доступа к
географически распределенным информационным и
вычислительным ресурсам - отдельным компьютерам,
кластерам, суперкомпьютерным центрам, хранилищам
информации, сетям, научному инструментарию и т.д.
Благодаря Интернет была создана глобальная система
обмена информацией, всемирная паутина WWW
стандартизовала поиск и доставку документов, GRID
является следующим революционным этапом в развитии
высоких технологий – стандартизации и глобализации
использования всех видов компьютерных ресурсов.
Five Emerging Models of Networked
Computing From The Grid
• Distributed Computing
– || synchronous processing
• High-Throughput Computing
– || asynchronous processing
• On-Demand Computing
– || dynamic resources
• Data-Intensive Computing
– || databases
• Collaborative Computing
– || scientists
Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing
Infrastructure,” Morgan Kaufmann, 1999, http://www.mkp.com/grids
Компьютерные сети
• Сети vs. Производительность компьютеров
– Вычислительные скорости удваиваются каждые
18 месяцев
– Скорости сетей удваиваются каждые 9 месяцев
– Разница на целый порядок за 5 лет
• 1986 to 2000
– компьютеры: x 500
– сети: x 340,000
• 2001 to 2010
– компьютеры: x 60
– сети: x 4000
Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins.
Этапы развития GRID
Приложения GRID
Grid служит универсальной эффективной
инфраструктурой для высокопроизводительных
распределенных вычислений и обработки данных.
Grid — практически неограниченно масштабируемый
инструмент обработки информации.
К приложениям Grid относятся:
• сложное моделирование на удаленных
суперкомпьютерах;
• совместная визуализация очень больших наборов
научных данных;
• распределенная обработка и анализ данных;
• связывание научного инструментария с
удаленными компьютерами и архивами данных;
• совместное проектирование сложных объектов.
virtual LHC
Computing
Grid The
Building
a Grid
Centre
Collaborating
Computer
Centres
Alice VO
CMS VO
Некоторые Grid Проекты
Name
Globus™
URL/Sponsor
globus.org
DARPA, DOE, NSF,
NASA,
EU DataGrid
www.eudatagrid.org
European Union
Focus
Исследование в области Grid
технологий; Globus Toolkit™
Создание Grid для приложений в
области Физики Высоких Энергий,
Биоинформатики и ООС.
Interoperability between European and
US Grids
EU DataTAG
www.datatag.org
CrossGrid
www.cyfronet.krak Создание и тестирование GRIDow.pl/crossgrid
приложений
European Union
EGEE (Enabling
www.cern.ch/egee
Grids for E-science
in Europe)
European Union
LCG (LHC
Computing GRID)
www.cern.ch/lcg
Создание европейского GRID для
науки и высоких технологий
Создание глобальной системы для
экспериментов на LHC
Некоторые Grid Проекты
Name
URL/Sponsor
Focus
Grid Physics
Network
griphyn.org
NSF
Cоздание технологий для анализа
данных в физике: ATLAS, CMS,
LIGO, SDSS
International
Virtual Data Grid
Laboratory
ivdgl.org
NSF
Создание международной Grid для
экспериментов над технологиями и
приложениями
TeraGrid
teragrid.org
NSF
Научная инфраструктура в США,
связывающая 4 организации 40
Gb/s
Particle Physics
Data Grid
ppdg.net
DOE Science
Создание Grid для анализа данных
в Физике Высоких Энергий и
Ядерной физике
The 13.6 TF TeraGrid:
Computing at 40 Gb/s
Site Resources
26
4
HPSS
Site Resources
HPSS
24
8
External
Networks
Caltech
HPSS
5
Argonne
External
Networks
External
Networks
Site Resources
External
Networks
SDSC
4.1 TF
225 TB
NCSA/PACI
8 TF
240 TB
TeraGrid/DTF: NCSA, SDSC, Caltech, Argonne
Site Resources
UniTree
www.teragrid.org
Grid Architecture
Workstations
Workstations
MG W/s
(‘‘MAS’’)
CERN
Udine
MammoGrid
Data
MammoGrid
Data
GridBox
High
Security
Level
GRID
VPN
MammoGrid
Data
MammoGrid
Data
GridBox
GridBox
Oxford
Cambridge
MG W/s
(‘‘MAS’’)
Human
Genetic
Variation
Technologies
Information
Genomic
Genotyping
Haplotyping
Data
Applications
Diagnosis
Individual
genomics
(SNPs and
mutations)
Pharmacogenetics
Genomic
medicine
Individualised
healthcare
BIOINFORMATICS & MEDICAL INFORMATICS
Clinical
Gene
Expression
DNA arrays
MS, 2D eph
Functional
genomics
proteomics
Disease
reclassification
Pharmacogenomics
Molecular causes of
diseases
Taken from Fernando
Martín-Sánchez
Molecular
medicine
Preventive
medicine
DataTAG project
NewYork
Abilene
UK
SuperJANET4
It
GARR-B
STAR-LIGHT
ESNET
Geneva
GEANT
MREN
NL
SURFnet
STAR-TAP
CERN
LHC in the LEP Tunnel
 Counter circulating
beams of protons in the
same beampipe.
 Centre of mass
collision energy of 14
TeV.
 1000 superconducting
bending magnets, each 13
metres long, field 8.4
Tesla.
Super-fluid Helium
cooled to 1.90 K
World’s largest superconducting structure
The LHC detectors
CMS
ATLAS
3.5 Petabytes/year  109 events/year
LHCb
Событие в LHC – это столкновение двух протонов или ядер
встречных пучков коллайдера и
происходящие при этом физические явления (напр., образование и распад частиц).
События регистрируются
детекторами и отбираются по
вероятности содержания в них
интересных физических
явлений. (напр., образование не
зарегистрированных ранее частиц Хиггса).
Отбор производится в реальном времени (online) с помощью так называемых триггеров
(Trigger) и при обработке
записанных ранее данных
(offline).
Триггеры для отбора интересных событий в реальном времени реализуют алгоритмы отбора
как на аппаратном (электроника), так и на программном
(компьютеры) уровне.
Событие в LHC
Online system
• Multi-level trigger
• Filter out background
• Reduce data volume
• Online reduction 107
• Trigger menus
• Select interesting events
• Filter out less interesting
В эксперименте CMS
поток данных с детектора уменьшается с
40TB/sec (1TB=1012
Bytes) на входе триггера
первого уровня до
100MB/sec на выходе
триггера третьего уровня. С такой скоростью
данные будут записываться на магнитную
ленту или, возможно, на
диски в течении
нескольких лет для
последующего анализа.
The opportunity of
MONARC
project
Grid
technology
LHC Computing Model
2001 - evolving
Lab m
Uni x
CERN Tier1
Russia
Tier3
physics
department
Tier1
Tier2
CERN
Uni a
UK
France
Uni n
USA
Desktop

Italy
Lab b
Germany
Lab c
regional group


Uni y
Uni b
The LHC Computing Hierarchical Model
• Tier-0 at CERN
– Record RAW data (1.25 GB/s ALICE)
– Distribute second copy to Tier-1s
– Calibrate and do first-pass reconstruction
• Tier-1 centres (11 defined)
– Manage permanent storage – RAW, simulated, processed
– Capacity for reprocessing, bulk analysis
• Tier-2 centres (>~ 100 identified)
– Monte Carlo event simulation
– End-user analysis
• Tier-3
- Facilities at universities and laboratories
– Access to data and processing in Tier-2s, Tier-1s
– Outside the scope of the project
Возможности ГРИД
технологии
Российский региональный центр:
the DataGrid cloud
LCG Tier1/Tier2
cloud
FZK
CERN
GRID access
JINR
…
Gbits/s
RRC-LHC
Regional connectivity:
cloud backbone – Gbit’s/s
Tier2
cluster
IHEP
RRC KI
SINP MSU
ITEP
to labs – 100–1000 Mbit/s
Collaborative centers
PNPI
Renovation of the
computer rooms
CPU servers
Disk servers
2.5 MW Power
Tape silos and servers
Preparing the Tier 0+1
computer centre
GEANT
Backbone
Topology
April 2004
RBNet (Russian Backbone Network)
• опоpная сеть для нужд науки и высшей школы RBNet
•
•
http://www.ripn.net
Схема каналов сети RBNet (02.02.2005)
RBNet links.
(European part and Ural).
© Copyright RIPN 2000 -2002
GLORIAD (GLOBAL RING NETWORK FOR ADVANCED APPLICATIONS
DEVELOPMENT)
Russia-China-USA Science & Education Network
MYRINET
cluster
COMMON
PC-farm
INTERACTIVE
PC-farm
6 – Interactive
CCIC JINR
116 CPU
14TB RAID-5
ATL~ 5 (15) TB
18 – Common PC-farm
30 – LHC
14 – MYRINET (Parallel)
20 – LCG
20 – File servers
8 – LCG-user interface
EDG overview :
structure , work packages

The EDG collaboration is structured in 12 Work Packages












WP1: Work Load Management System
WP2: Data Management
WP3: Grid Monitoring / Grid Information Systems
WP4: Fabric Management
WP5: Storage Element
WP6: Testbed and demonstrators
WP7: Network Monitoring
WP8: High Energy Physics Applications
WP9: Earth Observation
WP10: Biology
WP11: Dissemination
WP12: Management
}
Applications
DataGrid Architecture
Local Computing
Grid
Local Application
Local Database
Grid Application Layer
Data
Management
Job
Management
Metadata
Management
Object to
File Mapping
Collective Services
Information
& Monitoring
Replica
Manager
Grid
Scheduler
Underlying Grid Services
Database
Services
Computing
Element
Services
Storage
Element
Services
Replica
Catalog
Authorization
Authentication
& Accounting
Logging &
Bookkeeping
Grid
Fabric
Fabric services
Resource
Management
Configuration
Management
Monitoring
and Fault
Tolerance
Node
Installation &
Management
Fabric Storage
Management
Участие российских центров в проекте
EU DataGRID
Участники:
НИИЯФ МГУ, НИВЦ МГУ, ИТЭФ, ИПМ им. Келдыша, ИФВЭ (Протвино),
ОИЯИ (Дубна), ПИЯФ (Гатчина), ТЦ «Наука и общество»
Пакеты WP6, WP8, WP10
Основные результаты:
•
•
•
•
•
•
Создана информационная служба GRIS-GIIS
Создан сертификационный центр (Certification authority, СА)
Опыт создания распределенных баз данных (пакет GDMP),
совместное использование системы массовой памяти в Дубне
Развитие средств Monitoring and Fault Tolerance
Создан программный продукт Metadispetcher
Участие в сеансах массовой генерации событий для экспериментов
CMS, ATLAS; создание пакета DOLLY
Главный результат - получение опыта работы с новейшим
программным обеспечением GRID, включение российского
сегмента в европейскую инфраструктуру EU DataGRID
LCG project
• LCG project
approved by CERN Council in September 2001
• LHC Experiments
– Grid projects: Europe, US
– Regional & national centers
Goal
– Prepare and deploy the computing environment to help
the experiments analyze the data from the LHC detectors
Phase 1 – 2002-05
– development of common software prototype
– operation of a pilot computing service
Phase 2 – 2006-08
– acquire, build and operate the LHC computing service
Applications Area
Common projects
Libraries and tools,
data management
Distributed Analysis
Joint project on distributed
analysis with the LHC
experiments
LCG activities
Middleware Area
Provision of grid
middleware – acquisition,
development, integration,
testing, support
Grid Deployment Area
Establishing and managing the
Grid Service - Middleware
certification, security, operations.
Service Challenges
CERN Fabric Area
Cluster management
Data handling
Cluster technology
Networking (WAN+local)
Computing service at CERN
Cooperation with other projects
•
•
•
Network Services
– LCG will be one of the most demanding applications of national research
networks such as the pan-European backbone network, GÉANT
Grid Software
– Globus, Condor and VDT have provided key components of the
middleware used. Key members participate in OSG and EGEE
– Enabling Grids for E-sciencE (EGEE) includes a substantial middleware
activity.
Grid Operations
– The majority of the resources used are made available as part of the
EGEE Grid (~140 sites, 12,000 processors). EGEE also supports Core
Infrastructure Centres and Regional Operations Centres.
– The US LHC programmes contribute to and depend on the Open Science
Grid (OSG). Formal relationship with LCG through US-Atlas and US-CMS
computing projects.
– The Nordic Data Grid Facility (NDGF) will begin operation in 2006.
Prototype work is based on the NorduGrid middleware ARC.
Operations: Computing Resources
This greatly exceeds the project
expectations for numbers of sites
New middleware
Number of sites
Heterogeneity
Country providing resources
Country anticipating joining EGEE/LCG
In EGEE-0 (LCG-2):
 150 sites
 ~14,000 CPUs
 ~100 PB storage
Complexity
Grid Operations
•
RC
RC
ROC
RC
RC
•
RC
RC
RC
RC
ROC
CIC
CIC
RC
CIC
CIC
RC
•
RC
OMC
CIC
RC
CIC
RC
RC
RC
RC
ROC
RC
RC
ROC
RC
RC
•
RC - Resource Centre
•
The grid is flat, but there is a Hierarchy of
responsibility
– Essential to scale the operation
Operations Management Centre (OMC):
– At CERN – coordination etc…
Core Infrastructure Centres (CIC)
– Acts as single operations centres (one
centre in shift)
– Daily grid operations – oversight,
troubleshooting
– Run essential infrastructure services
– Provide 2nd level support to ROCs
– UK/I, Fr, It, CERN, + Russia + Taipei
Regional Operations Centres (ROC)
– Front-line support for user and operations
– Provide local knowledge and adaptations
– One in each region – many distributed
User Support Centre (GGUS)
– In FZK (Karlsruhe) (service desk)
Experiments’ Requirements
• Single Virtual Organization (VO) across the Grid
• Standard interfaces for Grid access to Storage Elements (SEs) and
Computing Elements (CEs)
• Need of a reliable Workload Management System (WMS) to efficiently
exploit distributed resources.
• Non-event data such as calibration and alignment data but also detector
construction descriptions will be held in data bases
– read/write access to central (Oracle) databases at Tier-0 and read
access at Tier-1s with a local database cache at Tier-2s
• Analysis scenarios and specific requirements are still evolving
– Prototype work is in progress (ARDA)
• Online requirements are outside of the scope of LCG, but there are
connections:
– Raw data transfer and buffering
– Database management and data export
– Some potential use of Event Filter Farms for offline processing
Architecture – Grid services
• Storage Element
– Mass Storage System (MSS) (CASTOR, Enstore, HPSS, dCache, etc.)
– Storage Resource Manager (SRM) provides a common way to access
MSS, independent of implementation
– File Transfer Services (FTS) provided e.g. by GridFTP or srmCopy
• Computing Element
– Interface to local batch system e.g. Globus gatekeeper.
– Accounting, status query, job monitoring
• Virtual Organization Management
– Virtual Organization Management Services (VOMS)
– Authentication and authorization based on VOMS model.
• Grid Catalogue Services
– Mapping of Globally Unique Identifiers (GUID) to local file name
– Hierarchical namespace, access control
• Interoperability
– EGEE and OSG both use the Virtual Data Toolkit (VDT)
– Different implementations are hidden by common interfaces
Technology - Middleware
• Currently, the LCG-2 middleware is deployed in more than
100 sites
• It originated from Condor, EDG, Globus, VDT, and other
projects.
• Will evolve now to include functionalities of the gLite
middleware provided by the EGEE project which has just
been made available.
• Site services include security, the Computing Element (CE),
the Storage Element (SE), Monitoring and Accounting
Services – currently available both form LCG-2 and gLite.
• VO services such as Workload Management System
(WMS), File Catalogues, Information Services, File Transfer
Services exist in both flavours (LCG-2 and gLite)
maintaining close relations with VDT, Condor and Globus.
gLite middleware
– The 1st release of gLite (v1.0) made end March’05
• http://glite.web.cern.ch/glite/packages/R1.0/R20050331
• http://glite.web.cern.ch/glite/documentation
– Lightweight services
– Interoperability & Co-existence with deployed infrastructure
– Performance & Fault Tolerance
– Portable
– Service oriented approach
– Site autonomy
– Open source license
LHC Computing Grid Project
http://lcg.web.cern.ch/LCG/
Data Challenges
• ALICE
– PDC04 using AliEn services native or interfaced to LCG-Grid.
400,000 jobs run producing 40 TB of data for the Physics
Performance Report.
– PDC05: Event simulation, first-pass reconstruction,
transmission to Tier-1 sites, second pass reconstruction
(calibration and storage), analysis with PROOF – using Grid
services from LCG SC3 and AliEn
• ATLAS
– Using tools and resources from LCG, NorduGrid, and Grid3 at
133 sites in 30 countries using over 10,000 processors where
235,000 jobs produced more than 30 TB of data using an
automatic production system.
• CMS
– 100 TB simulated data reconstructed at a rate of 25 Hz,
distributed to the Tier-1 sites and reprocessed there.
• LHCb
– LCG provided more than 50% of the capacity for the first data
challenge 2004-2005. The production used the DIRAC system.
Service Challenges
• A series of Service Challenges (SC) set out to successively
approach the production needs of LHC
• While SC1 did not meet the goal to transfer for 2 weeks
continuously at a rate of 500 MB/s, SC2 did exceed the goal (500
MB/s) by sustaining throughput of 600 MB/s to 7 sites.
• SC3 starts soon, using gLite middleware components, with diskto-disk throughput tests, 10 Gb networking of Tier-1s to CERN
providing SRM (1.1) interface to managed storage at Tier-1s. The
goal is to achieve 150 MB/s disk-to disk and 60 MB/s to managed
tape. There will be also Tier-1 to Tier-2 transfer tests.
• SC4 aims to demonstrate that all requirements from raw data
taking to analysis can be met at least 6 months prior to data
taking. The aggregate rate out of CERN is required to be 1.6
GB/s to tape at Tier-1s.
• The Service Challenges will turn into production services for the
experiments.
gLite
http://www.glite.org
Участие российских институтов в проектах
LCG/EGEE
LHC Computing Grid Project (LCG)
В 2003 году подписан протокол между правительством России,
CERN и ОИЯИ об участии в проекте LCG.
По этому соглашению Россия и ОИЯИ берет на себя в
ответственность за следующие задачи:
- тестирование всех (внешних или разработанных внутри LCG)
программных средств GRID, принятых для внедрения в
инфраструктуру LCG;
- программы запуска, сопровождения, мониторинга, инсталляции
генераторов событий (Events Database, Repository of generators);
- участие в оценке новых технологий GRID, появляющихся в мире,
для использования в LCG (Globus toolkit 3, industrial GRID
software)
LHC Computing Grid Project (LCG)
Основные результаты:
– Создание инструментальных средств, тестовых пакетов и
инфраструктуры для испытания программного обеспечения LCG.
– Создан тестовый полигон (названный “Beryllium”) для
функциональных испытаний базовых компонент EU DataGRID в
архитектурной среде OGSA (Globus Toolkit 3), основанной на
технологиях Java и XML с использованием транспортного
протокола высшего уровня SOAP. Выполнена работа по созданию
инструментов для измерения производительности пакета Globus
Toolkit 3 в условиях высокой загрузки и параллелизма.
– Разработана концепция и создано программное обеспечение для
библиотеки Монте-Карло генераторов, названного GENSER,
общего
для
всех
четырех
экспериментов
LHC
(lcgapp.cern.ch/project/simu/generator/).
LHC Computing Grid Project (LCG)
Задачи на 2004 год:
• LCG Deployment and Operation
• LCG Testsuit
• Castor
• LCG AA- Genser&MCDB
• ARDA
JINR in LCG (2004 and 2005 years)
• LCG2 infrastructure was created at JINR
• The server for monitoring Russian LCG sites was installed;
• LCG web-portal was created in Russia and now its development is in
progress:
• Tests on data transferring by the GridFTP protocol (GlobusToookit 3) were
made.
• the toolkit GoToGrid on the automatic installation and tuning of the LCG-2
package was developed;
• development of the MCDB system;
• software for installation and control of MonaLisa clients on the base of
RMS (Remote Maintenance Shell) was designed.
• Works to develop CASTOR2 system was in progress: development of the
control process of the garbage collection module, communication to Oracle
DB;
• participation in the work to create the TESTBED of the new gLite
middleware;
• Testing of next components gLite: Metadata catalog, Fireman catalog
• Monitoring of WMS (Workload Management System) gLite testbed in INFN
site gundam.cnaf.infn.it
EGEE (Enabling Grids for E-science in
Europe)
Цель
проекта
EGEE
создание
Грид
инфраструктуры по всей Европе, доступной 24
часа в сутки.
Ключевые направления проекта:
- формирование согласованной, устойчивой и защищённой
вычислительной сети;
- совершенствование программных средств middleware с
целью
обеспечения
надежного
обслуживания
пользователей;
- привлечение новых пользователей из других сфер
деятельности и обеспечение им высокого стандарта
обучения и поддержки.
EGEE и другие GRID - проекты
Какое отношение имеет EGEE к существующим гридам и
исследовательским сетям?
Инфраструктура EGEE строится на базе
исследовательской сети Европейского союза (ЕС)
GEANT и в ней используется опыт, накопленный в
таких проектах, как DataGrid, Datatag, Crossgrid,
поддержанных ЕС, в национальных проектах,
например, e-Science (Британия), INFN Grid, Nordugrid и
американском Trillium. Она обеспечит возможность
совместной работы с другими системами во всём мире,
включая США и Азию, что будет способствовать
установлению всемирной GRID-инфраструктуры.
Функциональность проекта EGEE
• Упрощённый доступ.
•
•
EGEE уменьшит издержки, связанные с разнообразием не связанных
между собой систем учёта пользователей. Пользователи смогут
объединяться в виртуальные организации с доступом к grid –
инфраструктуре, содержащей нужные каждому пользователю рабочие
ресурсы.
Выполнение вычислений по требованию.
Эффективно распределяя ресурсы, grid-технологии значительно
сокращает время ожидания доступа к ним.
Географически распределённый доступ.
Инфраструктура будет доступна отовсюду, где обеспечена хороший
доступ к сети. Ресурсы становятся широко доступными.
• Исключительно большой объём ресурсов.
Благодаря согласованности ресурсов и пользовательских групп, в
прикладной работе в рамках EGEE будут доступны ресурсы таких
объёмов, какие не может предоставить ни один компьютерный центр.
• Совместное использование программного обеспечения и данных.
Благодаря единой структуре вычислительных средств, в EGEE
пользователям будет легко совместно использовать программное
обеспечение и базы данных и разрабатывать программное обеспечение.
• Высокий уровень поддержки приложений.
Компетентность всех участников EGEE обеспечит тщательную,
всестороннюю поддержку всех основных приложений.
EGEE (Enabling Grids for E-science in Europe)
The aim of the project is to create a global Pan-European
computing infrastructure of a Grid type.
• Integrate regional Grid efforts
• Represent leading grid activities in Europe
EGEE Timeline
•
May 2003: proposal submitted
EU budget of 32M€ over 2 years
July 2003: proposal accepted
•
September 2003: start negotiation
1st meeting 8th Sept
2nd meeting 26th Sept
Final meeting 17th Oct
April 2004: start project
Existing EU DataGrid and DataTAG
projects extended to this date
EGEE activities’ relative sizes
Mware/security/QA
(JRA1-4): 22%
EDG (WP1-5): 57%
EGEE ~8MEuros
EDG ~6MEuros
JRA2
2%
JRA1
15%
JRA4
JRA3 2% NA1
5%
3%
NA2
4%
Networking (NA1-5): 30%
EDG (WP8-12): 25%
NA3
5%
NA4
13%
SA2
1%
NA5
3%
Grid operations (SA1,2): 48%
EDG (WP6,7): 18%
SA1
47%
Emphasis in EGEE is on operating a production
grid and supporting the end-users
Federating Worldwide Resources for the LHC
МЕМОРАНДУМ
о создании в России компьютерной
инфраструктуры GRID
В целях обеспечения полномасштабного участия России в
проекте создания глобальной (паневропейской)
компьютерной инфраструктуры типа ГРИД – EGEE
(Enabling Grids for E-science in Europe), принятом к
финансированию летом 2003 года Европейской
Комиссией (6-я Рамочная программа, проект 508833), и
реализации отечественных приоритетов в этом
международном проекте, нижеподписавшиеся Институты,
участвующие в данном проекте, образовали консорциум
РДИГ (Российский ГРИД для интенсивных операций с
данными – Russian Data Intensive GRID, RDIG) для
эффективного выполнения работ по проекту и развитию в
России инфраструктуры EGEE, с вовлечением на
следующих этапах проекта других организаций из
различных областей науки, образования и
промышленности…
Russian Data Intensive GRID (RDIG)
Consortium EGEE Federation
• ИФВЭ (Институт физики высоких энергий, Протвино) –
Петухов В.А.
• ИМПБ (Институт математических проблем биологии,
Пущино) – Лахно В.Д.
• ИТЭФ (Институт теоретической и экспериментальной
физики) – Гаврилов В.Б.
• ОИЯИ (Объединенный институт ядерных исследований,
Дубна) – Кореньков В.В.
• ИПМ (Институт прикладной математики) – Корягин Д.А.
• ПИЯФ (Петербургский институт ядерной физики, Гатчина) –
Рябов Ю.Ф.
• ИАЭ (Институт атомной энергии) – Солдатов А.А.
• НИИЯФ МГУ (Научно-исследовательский институт ядерной
физики МГУ) – Ильин В.А.
Russian Contribution to EGEE
RDIG as an operational and functional part of EGEE infrastructure
(CIC, ROC, RC).
Activities:
SA1 - European Grid Operations, Support and Management
(A.Kryukov, Y.Lazin)
SA2 – Network Resource Provision (V.Dobrecov)
NA2 – Dissemination and Outreach (T.Strizh)
NA3 – User Training and Induction (E.Slabospitskaya)
NA4 - Application Identification and Support (E.Tikhonenko)
JINR role and work in EGEE
• SA1 - European Grid Operations, Support and Management
EGEE-RDIG monitoring and accounting. Middleware deployment and
resource induction. Participation in the OMII and GT4 evaluation and in
the gLite testing.
LCG SC activity coordination in Russia.
• NA2 - Dissemination and Outreach
Coordination of this activity in Russia, organization of EGEE RDIG
Conference, Creation and run the RDIG Web site
(http://www.egee-rdig.ru), dissemination in JINR Member states.
• NA3 - User Training and Induction
Organization of grid tutorials, induction courses and training courses for
administrators.
• NA4 - Application Identification and Support
Coordination of this activity in Russia, organization of HEP applications
in Russia through the EGEE infrastructure.
Russian DataGrid Certification Authority
http://lhc.sinp.msu.ru/CA/
http://ussup.itep.ru/
RDIG мониторинг в ОИЯИ
http://rocmon.jinr.ru:8080
Grid middleware evaluations
• The goal of the evaluations is to get a better
understanding of the functionality, performance,
solidity, interoperability, deployability, management
and usability of components in different grid MW
distributions
• Aid decision about possible usage of components for
the EGEE MW and about provision of interoperability
between these distributions and the EGEE MW
• Evaluation of OMII distribution by JINR and KIAM in
February - April 2005
• Evaluation of Globus Toolkit 4 by JINR, KIAM and
SINP MSU in May - October 2005
Tier1/2 Network Topology
RDIG WEB
Main web-pages:
http://www.egee-rdig.ru (English/Russian)
Dubna, JINR
http://egee.sinp.msu.ru (English/Russian)
Moscow,SINP MSU
http://www.gridclub.ru (Russian)
Moscow,KIAM RAS
http://www.ihep.su/egee (Russian) Protvino
IHEP
http://www.jcbi.ru/prez/egee.shtml Russian
www.impb.ru/egee Russian/English (not all)
Pushchino, IMPB RAS
http://egee.pnpi.nw.ru Russian, Gatchina,
PNPI RAS
http://egee.itep.ru Russian/English,
Moscow, ITEP
http://rdig-registrar.sinp.msu.ru Technical
site, Russian, Moscow, SINP MSU
http://www.grid.kiae.ru Russian, Moscow,
RRC KI
Conferences
• The first major Grid conference in
Russia, hosted by Joint Institute
for Nuclear Research, has been
hailed a success. The conference,
distributed Computing and Gridtechnologies in Science and
Education, took place in Dubna,
Russia, between 29 June and 2
July 2004, and attracted more
than 200 participants from Russia,
Bulgaria, Ukraine, Slovakia,
Armenia, Germany, Czech
Republic and Belarus. Russians
from 29 Universities and
Research institutes, also
attended.
http://lit.jinr.ru/grid2004/
• 13 reports have been
presented on this conference
by Russian EGEE group
members
• First RDIG-EGEE workshop
was held
Tier2 in Russia
Institute
Link
IHEP
100 Mb/s 5+
ITEP
60 Mb/s
20 ? 2 TB ?
SL-3.0.4 (kernel 2.4.21)
…?
JINR
45Mb/s
(1Gbit/s)
10 ? 5 TB
SLC3.0.X
1Gbit/s
30 ? 2 TB ?
SINP
half-duplex
CPUs
Disk
OS/Middleware
1.6 TB
…?
…?
LCG-2_4_0, Castor,
gridftp, gLite?
SL-3.0.4 (kernel 2.4.21)
gridftp, Castor
Universal Grid infrastructure in University Center
of JINR
●
●
Course for system administrators using
Nordugrid ARC middleware was successfully
conducted on that infrastructure
LCG2 or gLite installation and configuration
course is in future plans
• Grid infrastructure is set of
virtual machines (VMs)
running on physical ones
(hosts)
• Virtualisation was made
using User Mode Linux
• current number of VMs is
36 (6 VMs on each of 6
hosts)
• all virtual resourses are
grouped into independent
testbeds which in turn can
be used for different aims:
system administrators and
users training in grid field,
debugging and testing
custom grid services in
desirable grid environment
Useful References:
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
GLOBAL GRID FORUM: //www.gridforum.org
European GRID FORUM: //www.egrid.org
GLOBUS:
//www.globus.org
PPDG:
//www.ppdg.org
IVDGL:
//www.ivdgl.org
OSG:
//www.ivdgl.org/osg-int/
GriPhyn:
//www.griphyn.org
Condor:
//www.cs.wisc.edu/condor
TERAGRID: //www.teragrid.org
EU DATAGRID: //www.eu-datagrid.org
DATATAG:
//www.datatag.org
CrossGRID: //www.crossgrid.org
LCG:
//lcg.web.cern.ch/LCG/
EGEE:
//www.eu-egee.org
EGEE-RDIG: //www.egee-rdig.ru
GRIDCLUB: //www.gridclub.ru