To Russian CMS sites From Russian CMS sites

Планы развития и модернизации
Российского сегмента РДИГ глобальной грид
инфраструктуры WLCG
на 2014-2019
5 февраля 2014, РГ ЦЕРН, НИИЯФ МГУ
Участие России и ОИЯИ в создании глобальной грид
инфраструктуры WLCG зафиксировано в Меморандуме
о Взаимопонимании (WLCG MoU), подписанном
Роснаукой в 2007 году:
1) создание центров Tier2 для всех 4-х
экспериментов БАК
2) суммарный уровень ресурсов Tier2 – 5% от
суммарной мощности Tier2 WLCG, что было
включено в планируемые до 2009 года ресурсные
таблицы ы Приложении к WLCG MoU
3) ресурсы предоставляемые странами в WLCG
указываются странами и принимаются на осенней
сессии CERN RRB.
2013 год – российский сегмент Tier2 РДИГ, примерно 3%
от Tier2 WLCG:
1) CPU – 7500 ядер
2) DISC – 5.8 Петабайт
Ресурсы Tier2 РДИГ закуплены в 2008-2009 гг.
Планы развития и модернизации российского сегмента
РДИГ WLCG на 2014-2019 годы подготовлены и
будут обсуждаться весной 2014 года и согласованы в
WLCG и ЦЕРН.
2011 год – инициатива Министра А.А. Фурсенко (письмо
Директору CERN R. Heur) о создании центров уровня
Tier1 в НИЦ КИ и ОИЯИ:
1) ALICE, ATLAS, LHCb – НИЦ КИ
CMS - ОИЯИ
2) Ресурсы (CPU, DISC, TAPE) на уровне 10% от Tier1
WLCG
3) Старт к началу второго рабочего сеанса БАК в 2015
Предложение и рабочие планы по созданию Tier1s в
НИЦ КИ и ОИЯИ были приняты на заседании
наблюдательного Совета WLCG осенью 2011 года.
Подготовлено соответствующее дополнение к WLCG
MoU и согласовано с WLCG и ЦЕРН.
2014-2019 развитие и модернизация российского
сегмента Tier2 РДИГ – основные направления работ:
1) Ежегодное увеличение ресурсов на 25%
2) Перевод Tier2 центров в участвующих институтах
на модель – Tier2 for Experiment
3) Модернизация Tier2 сегментов РДИГ по mesh
модели с учетом появления уровня Tier1
- ATLAS/CMS: динамическая модель WorkLoad
DataManagement
- ALICE: организация облачной инфраструктуры
российского сегмента WLCG
- LHCb: только Tier1 (НИЦ КИ) – организация
анализа данных
4)
Создание
core
middleware
WorkLoad
DataManagement (совместно с ЦЕРН)
2014-2015 – развитие и модернизация российского
сегмента Tier1/Tier2 РДИГ (млн.руб):
2014
2015
2014-2019
Tier1: НИЦ КИ
207
105
730
ОИЯИ
237
122
797
Tier2/Tier2D
170
ОИЯИ, ИФВЭ,
ИТЭФ, ПИЯФ,
ИЯИ РАН, СПбГУ,
НИИЯФ МГУ
Создание базового ПО
WLCG
НИЦ КИ, ОИЯИ,
ПИЯФ, ИТЭФ,
НИИЯФ МГУ
71
190
670
71
475
LHC Computing Grid (LCG-2), 21 September 2004
RuTier-2 CPU resources usage in Oct.2012
• Total
CPU time consumed by all 4 LHC VOs in
RuTier-2 is equal to 253 M HEPSpec06-hours (200 in
2011)
• About 4% of all CPU time consumed in all LHC
Tiers-2
8
CPU time consumed by CMS VO at all CMS sites and at RDMS CMS sites
(August 2011-July 2012)
4% = 10,697,384 kSI2K
267,434,620 kSI2K
All CMS sites
RDMS CMS sites
11% - consumed by Russian CMS users
CPU time consumed by CMS VO at all CMS sites and at RDMS CMS sites
(October 2012- September 2013)
3% = 14,013,499 kSI2K
467,116,662 kSI2K
All CMS sites
RDMS CMS sites
23% - consumed by Russian CMS users
ALICE usage of RuTier2 storage resources
Today
allocated 1 PB
This space is highly load.
At 4 sites disks loaded
more than 90% including
Most powerful sites NRCKI and JINR
RDIG sites are operating very effectively with 5% of resources
its produced > 8% of DONE jobs, what is more 4.6 ml. jobs
Number of jobs at CMS sites in Russia and at all CMS sites:
Oct.2011- Sept.2012
2 981 731 jobs
were submitted to Russian CMS sites
Total number of CMS jobs by country
3%
94 860 754 jobs
12
RuTier1 proposal
September 2012 – WLCG Overview Board accepted the
JINR and NRC KI proposal to create the LCG Tier1
centers:
- for all four experiments ALICE, ATLAS, CMS and LHCb
- ~10% of the summary Tier1 (without CERN) resources
- two sites: CMS
ATLAS, ALICE, LHCb
at JINR
at NRC KI
- production start in autumn 2014
- production testbed autumn 2013 – autumn 2014
RDMS CMS T2 association
Now
Future interest
Analysis Groups
Exotica:
T2_RU_JINR
Exotica: T2_RU_INR
HI:
T2_RU_SINP
QCD: T2_RU_PNPI
Beyond the
2nd Generation (B2G): T2_UA_KIPT
Top:
T2_RU_SINP
FWD: T2_RU_IHEP
Object/Performance Groups
Muon:
T2_RU_JINR
e-gamma-ECAL: T2_RU_INR
JetMET-HCAL: T2_RU_ITEP
H-like  Z0Z0  22e
Data transfer volumes and
rates
(October 2012 – September 2013)
~ 600TB
200 TB
To Russian CMS sites
From Russian CMS sites
15
Resources for Run II (from 2013)
•
Resources ~stable during
LHC shutdown (2013-14)
• Rump-up for LHC Run2
from 2015 (~25%/year)
• Conform to expected flat
budget
Big Data Has Arrived at an Almost Unimaginable Scale
Business e-mails sent per year
3000 PBytes
ATLAS Annual
Data Volume
30 PBytes
Library of congres
Content
Uploaded
to Facebook
each year.
182 PBytes
Climate
LHC Annual Google search index
15 PBytes
98 PBytes
Nasdaq
US census
Youtube
15 PBytes Health Record
30 PBytes
http://www.wired.com/magazine/2013/04/bigd
ata8/6/13
Big Data Workshop
17
Tier-1 project at RRC-KI
24/09/2013
A.Minaenko
18
Tier-1 project at RRC-KI
24/09/2013
A.Minaenko
19