C i S Computing e Storage Infrastructure

Computing e Storage C
i
S
Infrastructure
Federico Ruggieri – INFN
([email protected])
Seminario informativo DC‐NET
Roma, 18 Ottobre 2011
Outline
• IInfrastrutture
f t tt
per Calcolo
C l l ed
d archiviazione
hi i i
• Il contesto attuale dei p
progetti
g
Europei
p e regionali
• L’infrastruttura Italiana ed il ruolo dell’INFN
• Conclusioni
Le Infrastrutture di Ricerca sono al
centro del Triangolo della
Conoscenza
Ricerca
IInfrastrutture
f
di Ricerca
Innovazione
Educazione
La strategia Europea delle La
strategia Europea delle
e‐Infrastructurese-Science
• Le e‐Infrastrutture sono un obiettivo chiave dell’Area Europea della Ricerca (European Research Area)
(European Research Area)
• La Collaborazione Scientifica e le Infrastrutture Dati sono al livello più alto della stratificazione, basandosi sui servizi dei livelli sottostanti.
• Le infrastrutture di
Le infrastrutture di Grid forniscono lo forniscono lo
strato di servizi di Calcolo ad Alte Prestazioni con risorse distribuite e condivise e si basano su una Rete ad alta condivise e si basano su una Rete ad alta
velocità.
• L’infrastruttura di Reti di Comunicazione
ad Alta Banda dedicate al mondo dedicate al mondo
ad Alta Banda
dell’Istruzione ed della Ricerca.
Collaborations
Grid Infrastructure
Network Infrastructure
Cos’è una Grid ?
“Una Grid di Calcolo è una infrastruttura HW e SW che fornisce un accesso a risorse di calcolo ad alte prestazioni in maniera affidabile, coerente,
alte prestazioni in maniera affidabile, coerente, pervasiva ed economica.”
I. Foster & K. Kesselman – The Grid:
Bl
Blueprint
i t for
f a New
N Computing
C
ti
Infrastructure –
M
Morgan
K
Kaufman
f
1998
1998.
GRID come estensione del WEB
GRID come estensione
del WEB
http://
Archivi
A
hi i di
Software
Reti di
Sensori
Calcolatori
300
250
200
150
100
50
Turkey
Taiwan
Slovenia
JINR Dubna
United States
Israel
Japan
Colleghi
Russia
Morocco
Romania
Brazil
Canada
China PR
Republic of Georgia
CERN
Armenia
Australia
Republic of Belarus
Azerbaijan Republic
Spain
Sweden
Switzerland
United Kingdom
Slovac Republic
Italy
Poland
Norway
Portugal
Greece
Germany
Netherlands
Austria
France
Finland
0
Denmark
Grid: Accesso
flessibile e ad
alte prestazioni a
qualunque
l
ti
tipo di
risorse.
http://
Czech Republic
Web: Accesso
Uniforme ai
Documenti e
all’Informazione
Creazione “On“On-demand” di un
potente sistema virtuale di calcolo e gestione dati.
A hi i D
Archivi
Dati
ti
LHC Computing Grid
p
g
10 Gbps
p Links
GRID Computing Farm
p
g
Computing
El
Element
Rete Geografica
Storage
Element
SE
CE
Worker Nodes
Sicurezza
• Si basa su infrastruttura a chiave elettronica pubblica /privata
basata su algoritmi asimmetrici.
asimmetrici La chiave Privata non può (?)
essere derivata da quella pubblica.
• I dati e le informazioni criptate con una chiave possono essere
decrittate solo dall’altra.
• L
L’utente
utente è autenticato tramite un certificato digitale (X509).
• Le procedure sono però non semplici e risultano ostiche ai non
esperti;
p ; sono in fase di sviluppo
pp delle soluzioni (gli
(g Science
Gateway) che nascondono tutta questa parte all'utente finale.
A
B
European
p
Grid Infrastructure
Logical CPUs (cores)
•
•
248,424
248
424 EGI (+29.3%)
(+29 3%)
337,608 All
106.7 PB disk and 112.8 PB tape
Resource Centres
•
•
•
329 EGI
346
3
6 All ((+6.8%)
6.8%)
93 supporting MPI (+6.8%)
Countries (+11.5%)
38 NGIs providing resources
•
•
•
•
50 EGI
57 All
26 National Operations Centres
12 NGIs in 4 Federated Operations Centres
1 EIRO providing resources (CERN)
19 countries
t i in
i 4 non-European
E
Operations
O
ti
Centres
C t
Steven Newhous - EGI-InSPIRE Update, Lyon 2011
Globalisation of Grid Infrastructures
Globalisation of Grid Infrastructures
CNGrid
EUAsiaGrid
Garuda
Attuali linee di attività
• Infrastruttura di Grid Europea: EGI
• Middleware e Integrazione: EMI
• Allargamento alle altre regioni:
Allargamento alle altre regioni:
– Mediterraneo e Medio Oriente: EUMEDGRID‐Support, CHAIN
– India: EUIndiaGrid2, CHAIN
– Asia‐Pacifico: CHAIN
Asia‐Pacifico: CHAIN
– America Latina e Caraibi: GISELA, CHAIN
– Cina, Africa e Coordinamento delle Infrastrutture regionali: Cina Africa e Coordinamento delle Infrastrutture regionali:
CHAIN
• Formazione e disseminazione: EPIKH (Marie Curie).
Formazione e disseminazione: EPIKH (Marie Curie)
• Comunità Virtuali: WeNMR, agINFRA, Indicate, ecc.
EUMEDGRID infrastructure
29 Computing Elements
5000 CPU cores
>150 TB disk space
UAE
SAGrid
Africa Regional Operation Centre
(http://roc africa grid org)
(http://roc.africa‐grid.org)
• Supporto ad utenti ed Supporto ad utenti ed
amministratori dei siti
• Usa gli stessi strumenti di Usa gli stessi strumenti di
EGI
• Collaborazione fra SAGrid, Collaborazione fra SAGrid
EUMEDGRID‐Support, CHAIN EPIKH
CHAIN, EPIKH. …
China - CNGrid
• HPC Systems
– Two
T
100 Tflops
Tfl
– 3 PFlops
• Grid Software: CNGrid GOS
• CNGrid
CNG id Environment
E i
t
– 14 sites
– One OP Centers
– Some domain app. Grids
• Applications
–
–
–
–
Research
Resource & Environment
Manufacturing
Services
India
National Knowledge Network
National Knowledge
Jammu University
CDRI BA‐univ
CDRI, BA
univ, IIT
IIT‐K
K, CSAU
CSAU
IMTECH
IIT‐ropar, PU
AAU, IIT‐G, ICAR‐S,
univ‐G, SAHA, VECC, IIT‐P, IIT‐
KGP ICAR‐P, Raj Univ
JNKVV, RRCAT
IIT‐Gnr, AAU, SAC
IOP, IIT‐BHU
BARC, TIFR,CDAC,IIT‐B, Anushakti Ngr
NCRA,IITM,CDAC‐P, IUCAA , Uni pune, IIT‐H, CADC‐H, AMD, DNA, AGRANGA Univ, IIT‐M, CDAC‐M, IGCAR, Anna Univ, IIMSc, SNEYE
VSSC, CDAC‐T, RCC
IISC, RRI,CDAC‐KP, CDAC‐
Elec, IIAP, TIFR‐bangalore
Health
CSIR
University IIT. IISC
ICAR
DAE
CDAC
GARUDA &
• The Department of Information gy
Technology (DIT), Government of India has funded the Centre for Development of Advanced Computing (C‐DAC) to deploy the nation wide computational grid
nation‐wide computational grid GARUDA.
• The Foundation phase (April 2008 ‐ August 2009) successfully 2008 August 2009) successfully
aimed at developing Service oriented Architecture (SOA) framework, improving network stability and upgrading grid t bilit
d
di
id
resources.
• The 36 months Operation phase promises( primarily/solely
promises( primarily/solely focuses) on the grid enablement of applications of national priority viz Disaster Management (DMSAR), Bio informatics. EUAsiaGrid
INFN ((IT))
CESNET (CZ)
NCeSS (UK)
HealthGrid (FR)
AdMU (PH)
ANU (AU)
ASGC (TW)
ASTI (PH)
HAII (TH)
IDA (SG)
IAMI (VN)
ITB (ID)
NECTEC (TH)
UPM (MY)
MIMOS (MY)
ArchaeoGrid applicazione Paleoclima
Programma
g
MM5
NATIONAL OBSERVATORY OF ATHENS
24 km
8 km
2 km
• Uso di programmi sviluppati in campo di simulazioni
/ predizioni Meteorologiche (Es: MM5)
• Si danno in ingresso informazioni su:
• Topografia, distribuzione delle acque di
superficie,
p
, copertura
p
della vegetazione,
g
, ecc.;;
• dati ricavati dalla geologia, paleobotanica and
paleozoologia, archeologia, etc.
• Scopo:
S
reconstruzione
i
d ll’ bi
dell’ambiente
nell’antichità,
ll’ i hi à
copertura ed uso del territorio.
IGI
• Attualmente un JRU basata su un MoU del 2007.
• Supportata dal MIUR: 2 M€
per il 2010 e 5 M€
l
per 2011.
• Gestita da INFN come progetto speciale fino alla tt
i l fi
ll
costituzione di un consorzio o entità legale.
o entità legale.
• Blueprint (Luglio 2011) p
disponibile: http://www.italiangrid.org/sites/defa
ult/files/infrastruttura‐igi‐v3.0.pdf
Membri di IGI
CASPUR
CILEA
CNR
ENEA
GARR
INAF
INFN
INGV
SISSA
COMETA
COSMOLAB
ELETTRA
SPACI
Università degli Studi del Piemonte Orientale
Università degli Studi di Napoli Federico II
Università degli Studi di Perugia
Università della Calabria
Conclusioni
• Le Grid sono uno strumento estremamente potente per mettere in comune dati e risorse di calcolo
mettere in comune dati e risorse di calcolo
• La difficoltà di apprendimento nella fase iniziale può essere superata con l’uso di portali orientati all’applicazione o servizio.
• La sicurezza è ad un buon livello con gli strumenti standard, ma può essere aumentata per domini applicativi specifici (Es. Medicina).
• Nuovi servizi e infrastrutture ad hoc possono essere implementate sopra lo strato Grid.
• L’Italia ha una infrastruttura allo stato dell’arte a livello Europeo e mondiale ed è trainante nelle attività di cooperazionie internazionale.
• Alla base c’è, ovviamente, una infrastruttura di Rete per l’Accademia e la Ricerca d’avanguardia, sia a livello nazionale (GARR) che Europeo (GEANT3)
(GARR) che Europeo (GEANT3).