Introduzione alle Architetture di Grid Computing

Sommario
Introduzione alle
Architetture di Grid Computing
z
I
Introduzione
d i
all Grid
G id C
Computing
i
z
Alcune Definizioni
z
La Filosofia della Architettura di Griglia
z
Il Globus Toolkit (GT2)
– Introduzione, Security, Resource Management,
Information Services, Data Management
z
D. Talia - UNICAL
Open Grid Services Architecture (GT4)
Griglie e Sistemi di Elaborazione Ubiqui
D. Talia - UNICAL
Page 1
Griglie e Sistemi di Elaborazione Ubiqui
2
Il Problema della Griglia
z
Elementi del Problema
Condivisione
C
di i i
flessible,
fl ibl sicura,
i
coordinata
di t condivisione
di i i
di
risorse tra gruppi dinamici di individui, instituzioni e
sistemi.
z
– Computer, memorie, sensori, reti, …
– Condivisione condizionale: problemi di fiducia, politiche,
negoziazione, pagamento, …
Da “The Anatomy of the Grid: Enabling Scalable Virtual Organizations”
z
Condivisione di risorse
Permettere a comunità reali o virtuali (“virtual
(
organizations”) con obiettivi comuni di condividere
risorse distribuite geograficamente - assumendo l’
assenza di…
z
C
Coordinated
di
d problem
bl
solving
l i
– Oltre il client-server: analisi distribuita di dati, elaborazione
distribuita, collaborazione, …
z
– sito centrale,
Organizzazioni dinamiche, multi-istituzionali e virtuali
– Comunità
C
i à sovrapposte su strutture org. Classiche.
Cl i h
– controllo centrale,
– Grandi o piccole, statiche o dinamiche.
– completa conoscenza dello stato del sistema,
– l’esistenza di relazioni affidabili.
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
3
D. Talia - UNICAL
Page 2
Griglie e Sistemi di Elaborazione Ubiqui
4
Accesso Online a Strumenti Scientifici
Perché usare le Griglie?
z
z
z
z
z
z
Advanced Photon Source
Un biologo usa 55.000
000 computer per analizzare 100.000
100 000 composti
in qualche ora.
Distributione
geografica
Un migliaio di fisici nel mondo usano in maniera integrata alcuni
petabytes di dati.
Ingegnerici
g g
civili collaborano per
p progettare,
p g
realizzare e
analizzare esperimenti di terremoti.
Raccolta
l
real-time
Scienziati del clima visualizzano, annotano, e analizzano terabyte
di dati di simulazioni.
Archivi di
dati
desktop & clienti VR
con controlli condiv.
Un team di gestione di emergenze integra dati real time, modelli
di previsione del tempo e dati sulla popolazione.
ricostruzione tomografica
Una banca effettua analisi finanziarie sui propri conti correnti e
sul mercato azionario.
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
DOE X-ray grand challenge: ANL, USC/ISI, NIST, U.Chicago
5
D. Talia - UNICAL
Page 3
Griglie e Sistemi di Elaborazione Ubiqui
6
Data Grid per
la Fisica delle Alte Energie
~PBytes/sec
~100 MBytes/sec
Online System
~20 TIPS
~100 MBytes/sec
Each triggered event is ~1 MByte in size
~622 Mbits/sec
or Air Freight (deprecated)
France Regional
Centre
z
1 TIPS is approximately 25,000
SpecInt95 equivalents
Offline Processor Farm
There is a “bunch crossing” every 25 nsecs.
There are 100 “triggers” per second
Tier 1
Rete per la Simulazione di Terremoti
Tier 0
Germany Regional
Centre
CERN Computer Centre
Italy Regional
Centre
FermiLab ~4
TIPS
z
~622 Mbits/sec
Tier 2
~622 Mbits/sec
I tit tInstitute Institute Institute
Institute
~0.25TIPS
Physics data cache
~1 MBytes/sec
Tier 4
Caltech
~1 TIPS
Tier2 Centre
Tier2 Centre
Tier2 Centre
Tier2 Centre
~1 TIPS ~1 TIPS ~1 TIPS ~1 TIPS
Physicists work on analysis “channels”.
Each institute will have ~10 physicists working on one or
more channels; data for these channels should be cached
by the institute server
Physicist workstations
NEESgrid: Argonne, Michigan, NCSA, UIUC, USC
Image courtesy Harvey Newman, Caltech
D. Talia - UNICAL
NEESgrid: infrastruttura
nazionale per la collaborazione
tra ingegneri civili e l’uso di
dispositivi sperimentali,
databases computers,
databases,
computers & altro
Accesso on-demand ad
esperimenti, dati, calcolo,
archivi, e collaborazioni.
Griglie e Sistemi di Elaborazione Ubiqui
7
D. Talia - UNICAL
Page 4
Griglie e Sistemi di Elaborazione Ubiqui
8
Home Computers
Per l’Analisi di Farmaci per l’AIDS
z
Contesto più Generale
C
Comunità=
ità=
z
– migliaia di utenti di PC
– Business-to-business, Peer-to-peer, Application Service Providers,
Storage Service Providers, Distributed Computing, Internet
Computing…
– Philanthropic computing
vendor (Entropia)
– Gruppo
pp di Ricerca ((Scripps)
pp )
z
z
Obiettivo Comune=
avanzamento nella Ricerca e
nello studio dell’AIDS
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
Il “Grid Computing” ha molto in comune con i maggiori trend
industriali
Problemi comuni non adeguatamente affrontati dalle tecnologie
esistenti
– Requisiti Complicati: “eseguire il programma X sul sito Y conforme
alla politica di Comunità P, fornendo l'accesso ai dati in Z secondo la
politica Q”
– High
H h performance:
f
richieste
h
particolari
l di
d sistemi avanzati con alte
l
prestazioni.
9
D. Talia - UNICAL
Page 5
Griglie e Sistemi di Elaborazione Ubiqui
10
Perchè Adesso?
Prestazioni Elevate delle Reti
z
z
z
z
z
I miglioramenti di legge di Moore nei sistemi di
elaborazione produce sistemi finali altamente funzionali.
– La velocità dei calcolatori raddoppia ogni 18 mesi
– La velocità delle reti raddoppia ogni 9 mesi
– Differenza = un ordine di grandezza ogni 5 anni
Internet e le diverse reti wired o wireless forniscono
una connettività globale.
g
z
– Reti: x 340.000
z
Le elevate prestazioni delle reti producono
cambiamenti drammatici in termini geometrici e
geografici.
Griglie e Sistemi di Elaborazione Ubiqui
Dal 1986 al 2000
– Computers: x 500
I cambiamenti nel modo di lavorare in team e orientato
alle soluzioni favoriscono questa soluzione.
D. Talia - UNICAL
Prestazioni delle reti e dei calcolatori
Dal 2001 al 2010
– Computers: x 60
– Reti:
R ti x 4000
11
Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins.
12
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
Page 6
Alcune Importanti Definizioni
Alcune Definizioni
D. Talia - UNICAL
z
Risorsa
z
Network protocol
z
Network enabled service
z
Application Programmer Interface (API)
z
Software Development Kit (SDK)
z
Sintassi
z
Non discusse, ma importanti: politiche
Griglie e Sistemi di Elaborazione Ubiqui
D. Talia - UNICAL
Page 7
Griglie e Sistemi di Elaborazione Ubiqui
14
Risorsa
z
Network Protocol
Una entità da condividere
z
– Es., computers, memorie, dati, software
Una descrizione formale di formati di messaggi e un
insieme di regole per lo scambio di messaggi.
– Le regole possono definire sequenze di scambio di messaggi
– Definita in termini di interfacce, non di dispositivi
– Un protocollo può definire il cambio di stato nel punto finale, es.,
cambio
bi di stato
t t di un fil
file system
t
– Es. uno scheduler come LSF e PBS definisce una
risorsa di calcolo come un cluster
– I Protocolli possono prevedere più livelli.
– Es., Open/close/read/write definiscono accessi ad un
file system distribuito come NFS, AFS, Plan9.
z
Esempi di protocolli
– IP, TCP, TLS (era SSL), HTTP, Kerberos
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
15
D. Talia - UNICAL
Page 8
Griglie e Sistemi di Elaborazione Ubiqui
16
Network Enabled Services
z
Application Programming Interface
Implementazione di un protocollo che definisce un
insieme di capabilities
z
– Il protocollo definisce l’interazione con il servizio
z
Una specifica di un insieme di routine per facilitare lo
sviluppo di applicazioni
– Tutti i servizi di rete richiedono protocolli
– Si riferiscono alla definizione, non all’implementazione
– Non tutti i protocolli sono usati per fornire servizi (es. IP, TLS)
– Es., vi sono implementazioni di MPI
Esempi: FTP e Web servers
FTP Server
z
FTP
Telnet
Protocol Protocol
TCP Protocol
TCP Protocol
IP Protocol
IP Protocol
D. Talia - UNICAL
– Nome della routine, numero, ordine e tipo degli argomenti; mapping
a costrutti del linguaggio
Web Server
HTTP Protocol
– Comportamento o funzione della routine
TLS Protocol
Griglie e Sistemi di Elaborazione Ubiqui
Specifiche spesso legate ad un linguaggio
z
Esempi
– GSS API (security), MPI (message passing)
17
D. Talia - UNICAL
Page 9
Griglie e Sistemi di Elaborazione Ubiqui
18
Software Development Kit
z
Una particolare istanziazione di una API
z
Un SDK consiste di librerie e strumenti
Sintassi
z
– XML, Condor ClassAds, Globus RSL
– X.509 certificate format (RFC 2459)
– Fornisce una implementazione di una specifica di una
API
z
– Cryptographic Message Syntax (RFC 2630)
z
Possono esistere diversi SDK per una API
– Importante capire la stratificazione quando si paragonano e
valutano più sintassi.
– MPICH, Motif Widgets
Griglie e Sistemi di Elaborazione Ubiqui
Si possono avere sintassi a più livelli
– Es.,
Es Condor ClassAds -> XML -> ASCII
Esempi di SDK
D. Talia - UNICAL
Distinta dai protocolli
– Una sintassi puo’ essere usata da molti protocolli (e.g., XML) e
utile per molti scopi.
z
z
Regole per codificare l’informazione
l informazione, es
es.
19
D. Talia - UNICAL
Page 10
Griglie e Sistemi di Elaborazione Ubiqui
20
Un Protocollo può avere più API
Una API può avere più Protocolli
z
z
z
z
Le API TCP/IP includono i sockets BSD, Winsock, System V
streams, …
z
Il protocollo fornisce interoperability: programmi che fanno
uso di API differenti possono scambiarsi informazioni.
MPI fornisce la p
portabilità: qqualsiasi pprogramma
g
corretto
compila e “gira” su una piattaforma.
Non fornisce interoperabilità: tutti i processi devono
comunicare tramite la stessa SDK
– E.g.,
E g MPICH and LAM versions of MPI
IIo non ho
h bisogno
bi
di conoscere qualili API sta usando
d un utente
remoto.
Applicazione
Applicazione
Applicazione
WinSock API
Berkeley Sockets API
MPI API
MPI API
LAM SDK
MPICH P4 SDK
MPICH-P4
LAM protocol
TCP/IP
Protocollo TCP/IP : byte stream affidabile
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
21
D. Talia - UNICAL
Page 11
Applicazione
Differenti formati dei
messaggi, sequenze,
ecc.
MPICH-P4 protocol
Griglie e Sistemi di Elaborazione Ubiqui
TCP/IP
22
API e Protocolli sono Entrambi Importanti
z
API/SDK standard sono importanti
– Permettono la portabilità delle applicazioni
– Ma senza protocolli standard, interoperabilità è difficile (ogni SDK
Architettura di Grid
parla con ogni protocollo?)
z
Protocolli standard sono importanti
– Permettono interoperabilità tra siti diversi
– Permettono una struttura condivisa
– Ma senza API/SDK standard,
standard la portabilità delle applicazioni è
difficile (macchine differenti fanno uso di un protocollo in maniera
differente)
D. Talia - UNICAL
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
23
Page 12
Griglie e Sistemi di Elaborazione Ubiqui
Il Globus Project™
Aspetti del Problema dei Sistemi
1)) Necessità di interoperabilità
p
qquando differenti ggruppi
pp
z
condividono risorse
–
Diverse componenti, politiche, meccanismi
–
Es., notioni standard di identità, mezzi di comunicazione,
descrizione di risorse
z
2) Necessità servizi di infrastruttura condivisi per evitare
z
sviluppi e configurazioni ripetute
z
–
Es., una porta/servizio/protocollo per accesso remoto
all’elaborazione, non uno per tool/applicazione
–
Es., Autorità di Certificazione : costose
– GT2: basato su Java in ambiente Linux
– GT4: Nuova implementazione
p
basata sui Grid Services ((che
estendono i Web Services)
Necessità comune per protocolli e servizi
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
Stretta collaborazione con progetti “reali” di Griglia nella
scienza e nell’industria.
Sviluppo e promozione dei protocolli standard e delle
interfacce di griglia per permettere interoperabilità ed
infrastruttura comune
Il Globus Toolkit™: Open source, software di base di
riferimento per la costruzione dell'infrastruttura e le
applicazioni di griglia
z
26
Open Grid Forum: Sviluppo di protocolli standard e API per
Grid computing (www.ogf.org)
D. Talia - UNICAL
Page 13
Griglie e Sistemi di Elaborazione Ubiqui
27
Architettura di Grid a Livelli
Protocolli, Servizi,
e API ad Ogni Livello
(per analogia con l’Architettura di Internet)
Applicazioni
pp
Linguaggi/Ambienti
“Coordinare risorse multiple”:
servizidi infrastruttura ubiqui, servizi
distribuiti application-specific
“Condividere risorse singole”:
negoziare l’accesso, controllare l’uso
“Parlare alle cose”: comunicazione
(protocolli Internet) & security
“Controllare le cose localmente”:
Accesso a, e controllo di, risorse
D. Talia - UNICAL
Collective
Applicazioni
Resource
Connectivity
y
Transport
p
Internet
Fabric
Griglie e Sistemi di Elaborazione Ubiqui
Link
Internett Protocol Archittecture
Application
Collective Service APIs and SDKs
Collective Service Protocols
Collective Services
Resource APIs and SDKs
Resource Service Protocols
Resource Services
Connectivity APIs
Connectivity Protocols
Local Access APIs and Protocols
Fabric Layer
28
D. Talia - UNICAL
Page 14
Griglie e Sistemi di Elaborazione Ubiqui
29
Livello di Connettività
Protocolli & Servizi
Il Modello a Clessidra
z
Focus sui problemi architetturali
Applicazioni
z
– Un insieme di core services come
Servizi globali diversi
infrastruttura di base
– Costruzione di soluzioni di alto livello,
domain-specific
z
Principi di progettazione
– Mantenere basso il costo di
participazione
– Permettere
P
il controllo
ll llocale
l
– Supportare l’adattamento
– Modello “clessidra IP”
D. Talia - UNICAL
Comunicazione
– protocolli Internet : IP, DNS, routing, ecc.
z
Sicurezza: Grid Security Infrastructure (GSI)
– Autenticazione uniforme, autorizzazione, e meccanismi di protezione
di messaggi in ambienti multi-istituzioni
Core
services
– Singola iscrizione, delega, mapping dell’identità
– Tecnologia a Chiave Pubblica, SSL, X.509, GSS-API
– Infrastruttura di Supporto : Certificate Authorities,
Authorities gestione di
certificati & chiavi, …
Sistemi Oper. Locali
Griglie e Sistemi di Elaborazione Ubiqui
GSI: www.gridforum.org/security
30
D. Talia - UNICAL
Page 15
Griglie e Sistemi di Elaborazione Ubiqui
31
Livello di Risorse
Protocolli & Servizi
z
Livello Collective
Protocolli & Servizi
Grid Resource Allocation Mgmt (GRAM)
z
– Viste personalizzate su collezioni di risorse dinamiche assemblate da
una comunità
– Allocazione Remota, prenotazione, monitoraggio, controllo delle
risorse di calcolo
z
Protocollo GridFTP (estenzioni FTP)
z
Grid Resource Information Service (GRIS)
– Accesso a informazioni di struttura e di stato
z
Network reservation, monitoring, controllo
z
Tutto costruito sul livello di connettività: GSI & IP
Resource brokers (e.g., Condor Matchmaker)
– Scoperta e allocazione di risorse
– Accesso a dati e trasporto ad alte prestazioni
z
Index server (es. Monitoring and Discovery Service)
z
Servizi di Replica Location e Management
z
Servizi di gestione di Metadati
z
Servizi di Co-reservation and co-allocation
z
Servizi di Gestione di Workflow
z
Ecc.
GridFTP: www.gridforum.org
GRAM, GRIS: www.globus.org
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
32
Condor: www.cs.wisc.edu/condor
D. Talia - UNICAL
Page 16
Griglie e Sistemi di Elaborazione Ubiqui
33
gLite : Obiettivi
z
z
z
z
gLite: Servizi
gLite è un ambiente software per lo sviluppo di applicazioni
nato dalla European Data Grid per la gestione di grandi
quentità di dati e di applicazioni di High Energy Physics.
z
g
gLite
è un ambiente di tipo
p generale
g
per
p applicazioni
pp
distribuite,
anche se le applicazioni di High Energy Physics rappresentano il
suo dominio applicativo principale.
z
gLite e Globus adottano lo standard GSI ma adottano servizi di
sicurezza diversi.
diversi
z
gLite riutilizza in parte componenti e servizi del Globus toolkit.
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
34
In gLite il Virtual Organization Membership Service (VOMS)
fornisce le informazioni sui ruoli in una VO e permette la sua
gestione.
Il gLite File Transfer Service (FTS) è un servizio per lo
spostamento di file tra Storage Element di una Grid. gLite FTS è
basato sullo standard dei Web Services.
Il gLite File and Replica Manager (FiReMan) fornisce un insieme
di interfacce di catalogo per la gestione di dati replicati e per
collegare insieme i servizi LFN (logical file name), i Replica
services and i Metadata services.
D. Talia - UNICAL
Page 17
Griglie e Sistemi di Elaborazione Ubiqui
35
gLite: Resource Managers
z
z
z
Architettura OGSA
gLite fornisce due differenti servizi di accesso alle risorse che
interagiscono con i sistemi di gestione (LRMS): gLite-CE and
the CREAM web service.
Il nucleo di del middleware gLite è il Workload Management
Service (WMS). Questa federazione di servizi è responsabile
per la distribuzione e la gestione dell’esecuzione dei task sui
nodi di Grid.
Il Berkeley Database Information Index (BDII) è una evoluzione
del Globus Meta Directory System 2 (MDS) ed è stato adottato
come servizio informativo di gLite.
D. Talia - UNICAL
Griglie e Sistemi di Elaborazione Ubiqui
36
D. Talia - UNICAL
Page 18
Griglie e Sistemi di Elaborazione Ubiqui
37