fornitura di infrastruttura di calcolo, rete e storage per la

Transcript

FORNITURA DI INFRASTRUTTURA DI CALCOLO, RETE E STORAGE PER LA CREAZIONE DI UNA GRIGLIA
COMPUTAZIONALE
CAPITOLATO TECNICO
Premessa
La fornitura oggetto del presente capitolato è costituita da sistemi blade montabili su rack standard a 19” , switch di rete e sistemi di
storage fiber-to sata.
Tutti i sistemi proposti vi saranno forniti chiavi in mano ( cablaggi e posa in opera ) .
Tutti i sistemi offerti sono in garanzia e manutenzione con intervento “on-site” per 36 mesi da data installazione e con modalita’ di
intervento NBD (Next Business Day).
Per tutti i lotti vi saranno forniti blade con le seguenti caratteristiche:
-
Identici Processori
Identiche Motherboard
Identico Tipo di Ram
Identica tipologia di Storage locale su disco
Identiche Interfacce di rete
Identici Switch di rete
Ciascun processore e’ di tipo AMD Opteron revF in grado di eseguire nativamente codice binario x86 a 32 e a 64 bit. E’dotato di canale
di comunicazione diretta con gli altri processori sulla stessa motherboard, e dispone di controller di memoria integrato.
Nel documento allegato “Performance of the AMD Opteron LS21 for IBM Blade Center” si puo’ trovare un’analisi puntuale
dell’architettura di LS21 e alcune considerazioni sulle prestazioni.
Parametri di ambiente nominali dichiarati da IBM in base alla configurazione COMETA
Description Range
Operating temperature
Relative humidity
Maximum Altitude
Operating voltage
Operating frequency
10 to 35 degrees C (50 to 95 degrees F)
8% to 80%
2,133 m (7,000 ft)
200-240 V ac
50 or 60 Hz
Power consumption di un sistema LS21 in configurazione tipo INFN CT SEDE 1 inclusi i componenti di rete in Blade Center:
170W a riposo – 250W a pieno regime
(si considerino i dati di esempio di un Blade Center H come per il Lotto1, riportati di seguito, e si divida per il numero di Server pari a
14).
Questo valore e’ un valore medio che tiene in conto anche il consumo dello chassis e degli apparati di rete integrati.
Power consumption di un sistema x3655 in configurazione tipo SEDE 4:
220W a riposo – 330W a pieno regime
Power consumption di un controller DS4200:
230W senza sostanziali differenze a riposo o sotto carico
Power consumption di un expansion EXP420:
350W senza sostanziali differenze a riposo o sotto carico
I dati di consumo sono conformi a quanto dichiarato dal costruttore.
Consumi medi calcolati per uno Chassis IBM Blade Center H con 14 x LS21 configurato come da offerta. Valori da IBM tool a
http://www-03.ibm.com/systems/bladecenter/powerconfig/
Maximum
Quantity
1
Maximum
Measured
Rated
Idle
Measured
Input
System
Description
Power
Power
Current
Power
Blade Center - LS21 Power Cometa v1
1
2326 W
3526 W
16 A
9600 W
Domain 1
1163 W
1764 W
8,1 A
4800 W
Domain 2
1162 W
1763 W
8,1 A
4800 W
IBM BladeCenter H Chassis
Power Supplies for Blades 1-7: 2 x BCH 2900 W & Blades 8-14: 2 x BCH 2900 W
1 Management Module(s)
(2) Nortel Networks® Layer 2/3 Copper Gigabit Ethernet Switch Module
(1) Copper Pass Through Switch Module
LS21 (7971)
14
(2) 2.6GHz Opteron 2218 HE - 68W
(8) 1024 MB Dimm(s)
(1) IBM 73GB 10K U320 SFF SAS NHS
Power Estimates for Total Configuration
Date & Time:
17/07/2007 9.50.39
Country:
Italy
Voltage:
220 V
MAX
Based on system(s) running at:
IDLE
MEASURED
SYSTEM
RATING
Power:
2326 W
3526 W
9600 W
Input Current:
10,6 A
16 A
48 A
BTU/HR:
7932 BTU/Hr
12024 BTU/Hr
32736 BTU/Hr
CFM:
430 CFM
820 CFM
820 CFM
VA Rating:
2373 VA
3598 VA
9796 VA
Leakage Current:
30 mA
30 mA
30 mA
Peak Inrush Current (4ms):
200 A
200 A
200 A
Current Program Version: v4.4.2.28 - 23 May, 2007
SPEC bmt
CINT2000
CINT_rate2000
CFP2000
CFP_rate2000
Consumo medio per Blade configurato come da capitolato tecnico inclusi gli apparati di rete e lo chassis
Idle Power
2326W/14 = 170W
Max Power
3526W/14 = 250W
Misure in un range di 2% di tolleranza.
Ne consegue che i sistemi proposti soddisfano il limite superiore di consumo ammesso.
250W < 0.05 * 1784 * 4 = 357W
Prestazioni [email protected] AMD Opteron 2218 da www.spec.org
Il sistema di nodi di calcolo e’ in architettura IBM Blade Center H di nuova generazione.
Le blades LS21 sono disegnate per ospitare processori dual-core revF.
Le memorie sono di tipo DDR2 667MHz.
Base
1606
72,6
1999
83,3
SISTEMA OPERATIVO E AMBIENTE SW
Tutti i sistemi di calcolo vi saranno forniti con linux scientific cern rilasciata per il middleware di INFN- GRID rilasciato dal progetto
INFN .
I nodi di calcolo ed i sistemi storage sono forniti con il middleware grid gLite pre-installato. La tipologia dei servizi grid (computing
element , storage element , worker node, ecc )sarà definita in accordo con il committente .
Tools e compilatori secondo quanto richiesto nel capitolato tecnico di gara
Saranno inoltre forniti e preinstallati le licenze dei compilatori F77/F90/F95/C/C++ ottimizzati per l’architettura Opteron accedibili via
LAN da tutti i nodi dell’architettura COMETA.
I Cluster sono forniti del Software per la comunicazione nativa su interconnessione Infiniband 4X. Saranno anche installati gli ambienti
MPICH e MPICH2.
LSF
Senza alcun costo aggiuntivo per il Consorzio sarà fornita la HPC 6.2 o qualunque altra versione compatibile con il middleware di
INFN GRID indicata dal Consorzio stesso.
Cluster di Calcolo offerti nei 6 siti della rete COMETA
Per poter soddisfare al meglio le specifiche tecniche riportate nel Capitolato Tecnico di Gara, la soluzione proposta stabilisce alcuni
punti comuni alle architetture Cluster dei 6 siti della rete COMETA specializzando a ogni modo la soluzione ai vari siti tenendo in conto
le specifiche indicate nel capitolato tecnico di gara.
Obiettivo essenziale del progetto e’ quallo di garantire una elevata interoperabilita’ e unita’ di gestione tra tutte le realizzazioni dei vari
centri e un’elevata integrazione con l’architettura presistente basata su tecnologia IBM Blade Center H e IBM Blade LS21.
Tenendo in massimo conto gli aspetti di compattezza della soluzione da proporre, di riduzione dei costi di consumo, di minimo
ingombro, di massima integrazione fra tutte le componenti (processori, dischi, componenti di rete, etc), di gestione semplificata
dell’architettura distribuita, la soluzione Cluster IBM Blade H soddisfa a pieno le necessita’ che si evincono dal capitolato di gara, e le
migliora ulteriormente.
Oltre all’indiscussa superiorita’ tecnologica dell’architettura IBM Blade Center, sono di ulteriore rilievo la proposta IBM LS21 Blade che
integra l’architettura AMD/Opteron dual-core revF nel blade stesso.
IBM ha inoltre stabilito accordi tecnologici con i maggiori fornitori di interconnessione a alate prestazioni (Myricom, Topspin/CISCO,
Voltaire, Brocade, Nortel, QLogic, McData, etc.) per integrare nello chassis diversi componenti di rete e SAN alfine di mantenere un
elevata compattezza anche per architetture che devono assicurare connessioni di diverse tipologie (Switch Gbit, componenti SAN,
Switch Infiniband o Myrinet, etc.).
La costruzione dello chassis permette adeguate ridondanze di componenti oltre a consentire sostituzioni di tipo hot-plag, riducendo
quindi al minimo possibili interruzioni di servizio a causa di rotture HW.
L’integrazione di IBM Blade Center H in rack di tipologia standard 19” da 42U, come i rack APC o Rittal preesistenti in COMETA,
consente di ottenere la massima densita’ computazionale per rack (fino a 4 chassis 9U per rack conteneti ognuno fino a 14 blades, per
un valore complessivo di 14 (blades) x 4 (chassis) = 56 blades che per soluzioni dual-core corrispondono a 224 cores per rack).
Ulteriori vantaggi sono dovuti alle caratteristiche di minor consumo delle soluzioni blade rispetto a nodi 1U. Come valutazione
esemplificativa, ma applicabile al caso in questione, un Blade Chassis con 14 LS21 configurati con 1xHDD 73GB SCSI, 4GB RAM, e
apparati di rete integrati, consuma circa 3KW (circa 230W per blade). Un rack completo con 4 chassis ha un consumo in pieno esercizio
intorno a 12KW.
Ulteriori considerazioni
L’architettura proposta permetta la completa integrazione con l’architettura preesistente e ne migliora le caratteristiche di flessibilita’,
prestazione complessiva e gestione.
La rete a elevate prestazioni Infiniband SDR e DDR 4X fornita consente di collegare, nei vari siti, tutti i sistemi LS21 Blade, sia quelli
preesistenti che quelli oggetto della proposta.
La soluzione Infiniband proposta consente di rendere interoperabile soluzioni di diversa tipologia: IB-1X (presente in Trigrid), IB-4X SDR
(presente in Cometa) e IB-4X DDR (offerta su alcuni dei siti della presente proposta).
Saranno consentite in fase di realizzazione del progetto alcune variazioni rispetto alla configurazione Infiniband proposta che possano
al meglio incontrare l’esigenze del Consorzio.
Nei siti dove non e’ prevista la fornitura di uno Switch Infiniband esterno di tipo CISCO SFS 7012D, sono comunque garantite le
connessioni a coppia tra Chassis o a tre in cascata, connetendo tra loro gli Switch Infiniband 4X interni agli Chassis.
L’interoperabilta’ e l’integrazione e’ garantita con le preesistenze sia in termini di interoperabilita’ che di gestione complessiva.
La proposta prevede, come ulteriore garanzia di integrazione e gestione centralizzata, l’utilizzo di alcuni ambienti che verrano forniti
all’interno della configurazione dell’architettura e che consentiranno il monitoring centralizzato delle componenti HW, l’ottimizzazione dei
consumi elettrici, la possibilita’ di effettuare installazioni di ambienti SW da un unico punto di servizio, l’integrazione e l’interoperabilita’
dell’architettura storage e filesystem distribuito a alte prestazioni, con i prodotti seguenti integrati nella fornitura:
IBM Director v5
http://www-03.ibm.com/systems/management/director/about/new.html
IBM PowerExecutive
http://www-03.ibm.com/systems/management/director/extensions/powerexec.html
IBM Cluster System Management
http://www-03.ibm.com/systems/clusters/software/csm.html
IBM General Parallel Filesystem v 3.1 e successive versioni
http://www-03.ibm.com/systems/clusters/software/gpfs.html
LSF 6.1 HPC
http://www.platform.com/
l’architettura HW e SW nel suo complesso garantiscono la massima flessibilita’ e scalabilita’.
In fase di realizzazione verra’ indicato un Responsabile di Progetto.
Verra’ inoltre fornito in fase di esecuzione dei lavori l’elneco del personale preposto al project management e al supporto tecnico
assegnato al progetto.
L’esecuzionedei laori verra’ effettuata nel rispetto delle norme vigenti e garantendo la massima efficacia nella messa in produzione di
tutta l’architettura.
SPEC bmt
CINT2000
CINT_rate2000
CFP2000
CFP_rate2000
Base
1606
72,6
1999
83,3
Dimensionamento dei vari Lotti sulla base delle prestazioni di LS21 da www.spec.org
Per soddisfare al meglio le specifiche del bando in termini di prestazioni complessive con un rapporto prezzo/prestazioni di massimo
rilievo, si ritiene cha la soluzione AMD/Opteron 2218 revF dual-core a 2.6GHz rispecchi al meglio le specifiche sia per l’elaborazione
integer che per floating-point. In particolare si riportano nella tebella di seguito i valori relativi ai vari indicatori disponibili su
www.spec.org e utilizzati nel capitolato tecnico di gara con i quali definire il numero di blades necessarie per ogni centro COMETA e in
grado di soddisfare le richieste di prestazioni minime. Si tenga in conto che i dati pubblicati hanno un valore di tolleranza generalmente
entro il 2%.
Tabelle dati di prestazione di riferimento come da www.spec.org Gennaio 2007
IBM AMD/Opteron [email protected] dual-core revF, processore 2218
Prestazioni LS21 AMD Opteron 2218 da www.spec.org
In riferimento alle specifiche di prestazione SPEC indicate in ognuno dei lotti 1-5 del capitolato tecnico di gara, e’ utile fare un conto
complessivo sul numero di blades che consente di soddisfare le specifiche di target
Tenendo in conto la distribuzione delle capacita’ di elaborazione indicate sui 6 lotti di gara, si effettuera’ una ripartizione in termini di
numeri di blades secondo lo schema seguente. La capacita’ computazionale complessiva soddisfa le richieste del captilato di gara e le
migliora ulteriormente con l’aggiunta di 20 Blades che potranno essere inserite in alcuni dei siti preesistenti.
La distribuzione delle blades nei nuovi chassis e’ stata determinata in modo da poter riempire tutti gli Chassis forniti, per cui la
distribuzione tende a ottimizzare gli spazi e i costi garantendo a ogni modo le capacita’ di calcolo orientative definite nel capitolato di
gara. I criteri di distribuzione sono indicati nelle tabelle sottostanti, dove sono riportati il numero delle blades che soddisfano in modo
puntuale i dati di prestazione per i vari indicatori SPEC, e in rosso il numero degli Chassis e delle Blades offerte per ogni sito.
Indicatore
SEDE 1 INFN-CT
SPECint2000
Base
SPECint2000
SPECint_rate2000
SPECfp_2000
SPECfp_rate_2000
Peak
578160
642240
6534
7308
719640
802080
7497
8028
#Blades
#Blades
90,0
90,0
SPECint_rate2000
90,0
90,0
SPECfp_2000
90,0
90,0
SPECfp_rate_2000
90,0
90,0
Chassis
90,0
90,0 Blades
7
98,0
SEDE 2 INAF-CT
SPECint2000
Base
SPECint2000
289080
SPECint_rate2000
SPECfp_2000
Peak
321120
3267
3654
359820
401040
3748
4014
SPECfp_rate_2000
SEDE 3 UniME e INGV
Base
SPECint2000
411136
456704
4646
5197
511744
570368
5331
5709
SPECint_rate2000
SPECfp_2000
Peak
SPECfp_rate_2000
SEDE 4 UniCT-DIIT
Base
SPECint2000
205568
228352
2323
2598
255872
285184
2666
2854
SPECint_rate2000
SPECfp_2000
Peak
SPECfp_rate_2000
SEDE 5 UniCT-DMI
SPECint2000
SPECint_rate2000
SPECfp_2000
SPECfp_rate_2000
Peak
205568
228352
2323
2598
255872
285184
2666
2854
45,0
SPECint_rate2000
45,0
45,0
SPECfp_2000
45,0
45,0
SPECfp_rate_2000
45,0
45,0
45,0
45,0 Blades
SPECint2000
64,0
64,0
SPECint_rate2000
64,0
64,0
SPECfp_2000
64,0
64,0
SPECfp_rate_2000
64,0
64,0
Chassis
Chassis
64,0
64,0 Blades
SPECint2000
32,0
32,0
SPECint_rate2000
32,0
32,0
SPECfp_2000
32,0
32,0
SPECfp_rate_2000
32,0
32,0
Chassis
SPECint2000
Base
45,0
32,0
32,0 Blades
32,0
32,0
SPECint_rate2000
32,0
32,0
SPECfp_2000
32,0
32,0
SPECfp_rate_2000
32,0
32,0
32,0
32,0 Blades
Chassis
3
42,0
5
70,0
2
28,0
2
28,0
SEDE 6 INAF-PA
Base
SPECint2000
SPECint_rate2000
SPECfp_2000
SPECfp_rate_2000
Peak
719488
799232
8131
9094
895552
998144
9330
9990
SPECint2000
112,0
112,0
SPECint_rate2000
112,0
112,0
SPECfp_2000
112,0
112,0
SPECfp_rate_2000
112,0
112,0
112,0
112,0 Blades
Chassis
8
112,0
Blade addizionali. La proposta prevede l’aggiunta di 10 Blades da inserirsi nei Blade Chassis preesistenti secondo le necessita’ del
consorzio, Le blades sono equipaggiate di card IB di connessione per cui si integrano nella rete Infiniband. La capacita’ di calcolo
complessiva addizionale e’ pari a
Adizionali
SPECint2000
Base
SPECint2000
SPECint_rate2000
SPECfp_2000
SPECfp_rate_2000
Totale
Peak
64210
71360
726
812
79960
89120
833
892
min 375 Blades
10,0
10,0
SPECint_rate2000
10,0
10,0
SPECfp_2000
10,0
10,0
SPECfp_rate_2000
10,0
10,0
10,0
10,0 Blades
(NUMERO MINIMO DI LAME PER SODDISFARE LA VOSTRA RICHIESTA MINIMALE DI
SPECINT2000 RICHIESTI
offerte 378+10 Blades
Il Consorzio puo’ a suo giudizio redistribuire le Blades in diverso numero sui vari siti, fatto salva la capacita’ di ospitarle negli
Chassis predisposti, in quanto l’infrastruttura di rete e’ stata disegnata per poter supportare, senza pregiudicare in alcun
modo le prestazioni, Chassis pienamente popolati.
Dimensionamento dei sottosistemi storage sui vari Lotti
Capacita’ 131TB complessivi distribuiti su sottosistemi DS4200 per 4 Lotti:
Lotto
Richiesto
Offetto
1
3
4
5
75TB
11TB
20TB
25TB
75TB
12TB
24TB
30TB
Tot
131TB
141TB
Il Consorzio puo’ a suo giudizio ridistribuire i dischi in diverso numero sui vari siti, fatto salva la capacita’ di ospitarle
nell’espansioni DS4200 predisposte, in quanto l’infrastruttura storage e’ stata disegnata per poter supportare, senza
pregiudicare in alcun modo le prestazioni, espansioni pienamente popolate.
In ognuno dei siti in cui e’ disponibile un sottosistema DS4200 verrano connessi agli I/O nodes presistenti per assicurare ridondanza,
prestazioni e flessibilita’ nella gestione degli accessi al sottosistema storage.
Per LA SEDE 4 e 5 e’ prevista l’aggiunta di due I/O nodes IBM x3655 secondo la configurazione di seguito schematizzata.
La configurazione tipo di un I/O node e’ la seguente.
•
•
•
•
•
•
Server x3655 2U dual-core 2210 1.8GHz
4GB RAM DDR2 667MHz ECC
dual GbEth integrata
doppio disco 73GB SAS in RAID HW hot-swap
Controller Emulex 4Gb FC dual-port
Redundant power supply
Per LA SEDE 1 e’ prevista l’aggiunta di 2 schede FC 4Gb Emulex
10
Schede Tecniche dei prodotti offerti
Scheda tecnica riassuntiva soluzione IBM LS21
Overview
Un singolo chassis BladeCenter H supporta, in sole 9 U di un rack, sino a 14 blade LS21 e HS21 in modalità hot swappable. In
aggiunta ai blade server, lo chassis può ospitare sino a 10 diversi switch/bridge. Queste caratteristiche non solo permettono di avere un
risparmio notevole di spazio rispetto ai server 1U, ma integrando switch e bridge riducono la complessità nei cablaggi e permettono una
gestione integrata. In un singolo rack 42U possono essere installati sino a 56 server LS21 e/o HS21 per un totale di 112 processori e
224 core.
I tool di gestione integrati in BladeCenter semplificano inoltre l’amministrazione e massimizzano l’efficienza del personale IT,
contribuendo a ridurre i costi e a migliorare il controllo del data centre
IBM BladeCenter LS21
Il Blade Server LS21 offre caratteristiche comparabili a molti server 1U. Infatti l’LS21 supporta sino a 2 processori di ultima generazione
dual-core AMD Opteron revision F. I processori Opteron sono progettati con 2MB di cache L2 condivisa, tecnologia HyperTransport
64-bit extensions (EM64T), e sono in grado di fornire tutta la capacità di elaborazione richieste dale applicazioni attuali.
LS21 supporta sino a 32GB di memoria DDR2 con 533MHz PC2-4200 Fully Buffered ECC (Error Checking and Correcting) oppure
16GB di memoria PC2-5300 (DDR2 667MHz) ECC in 8 DIMM slot, utilizzando le Memory and I/O Expansion Unit, con protezione
Chipkill™per garantire prestazioni e affidabilità.
I controllori dual Gigabit Ethernet integrati sono standard e forniscono high-speed data transfer e supporto TOE unito a funzionalità di
load-balancing e failover.
La Memory and I/O Expansion Unit fornisce due controller aggiuntivi Gigabit Ethernet (senza supporto TOE). Utilizzando delle schede
di espansione aggiuntive , ogni blade può connettersi a sistemi Ethernet, Myrinet, Fibre Channel, iSCSI, InfiniBand™ mediante switch
integrati nello chassis. Schede opzionali 2-port Expansion Cards permettono di aggiungere funzionalità ai server LS21 server.
Tutti i modelli LS21 offrono alte funzionalità a prezzi contenuti e includono un SAS hard disk. Una Storage and I/O Expansion Unit
opzionale da 30mm connessa al blade garantisce la possibilità di avere tre 2.5” SAS HDD aggiuntivi con supporto hot-swap, e
supporto RAID1/RAID-5. LS21 è ottimizzato per funzionare in modalità diskless, potendo ogni blade server accedere a qualsiasi
tipologia di storage via Fibre Channel o iSCSI.
I chassis BladeCenter sono in grado di controllare le condizioni operative delle proprie componenti e delle
blade e di mandare alert all’amministratore. Sono disponibili funzionalità avanzate quali:
Active Memory™, Predictive Failure Analysis™, light path diagnostics, componenti di power e raffreddamento hot-swap e
ridondate e con Calibrated Vectored Cooling™
Supporto IPMI 2.0 con controllo remoto sicuro del power
text-console ridiretta sulla LAN, un Management Module, IBM Director management software con IBM PowerExecutive™,
Remote Deployment Manager, e IBM ServerGuide™ aiutano a mantenere elevate la system availability with.
LS21 offre numerose caratteristiche per aumentare le performance e abbassare i costi operativi:
Sino e due processori dual-core Opteron “revision F” Model 2000 Series con HyperTransport Technology, DirectConnect
Architecture e 2MB di cache integrata Level 2 per processore. A scelta processori con 2.0, o 2.4GHz clock rates e 68W di
consumo oppure 2.0 o 2.6GHz e 95W di consumo.
Sino a 32GB di memoria high-speed 533MHz PC2-4200 o sino a 16GB di memoria a 667MHz PC2-5300 DDR2 ECC) con
protezione Chipkill opzionale.
Il blade server LS21 include una Baseboard Management Controller (BMC) per monitorare la disponibilità del server, fare
Predictive Failure Analysis, e catturare gli alert del IBM Director.
L’alto livello di integrazione dello chassis elimina la necessità di componenti interne ai server, potendo sostituire con le
proprie componenti hot swap moduli esterni per raffreddamento, cablaggi, power e switch. L’integrazione abbassa anche la
quantità di energia che viene consumata e il calore prodotto da un numero equivalente di sistemi 1U.
Il midplane supporta una scheda di espansione Fibre Channel (adattatore Host Bus) opzionale a due porte (fino a 4 Gb per
porta), una scheda di espansione Gigabit Ethernet opzionale a due porte, fino a quattro fabric ad alta velocità con
connessione PCI-Express, incluso Infiniband 4x
Anche l’alimentazione degli chassis è stata nettamente migliorata permettendo un fattore di efficienza del 90% nella
conversione di corrente AC in corrente DC utilizzata all’interno dei server. Anche in questo caso il risparmio è notevole in
quanto l’energia utilizzata viene sfruttata al meglio per il funzionamento delle varie componenti.
I Blade Center riducono inoltre il numero di una serie di componenti necessarie ai sistemi, quali floppy e CD-ROM device,
ventole e sistemi di gestione
Vista
Vista frontale
interna
BladeCenter LS21 Specification
Caratteristiche IBM BladeCenter LS21 Blade Server
Machine type
7971-3xX/3xY, 5xX/5xY, 6xX/6xY (2-processor-only)
Form factor
30mm blade
Processor type
Dual-core AMD Opteron “revision F” processor (2000 series)
2.0GHz 2212HE (31X/31Y), 2.0GHz 2212 (3AX/3AY), 2.4GHz 2216HE (5xX/5xY),
2.6GHz 2218 (6xX/6xY)
Processor power draw
68W (31X/31Y, 51X/51Y)
HyperTransport Tunnel speed
1.0GHz
# of processors standard / maximum
1/2
Internal L2 cache
2MB (1MB per core)
Chipset
ServerWorks HT 2000/1000
Standard / maximum memory
1GB (2 x 512MB) / 32GB (31X/31Y,
3AX/3AY)
Standard memory type
PC2-5300 (667MHz) DDR II ECC (optional PC2-4200/533MHz)
Memory interleaving
Two-way (using pairs of DIMMs)
DIMM capacities supported
512MB, 1GB, 2GB, 4GB
Chipkill protection supported
Yes
# of DIMM sockets total / available
8 / 6 (31X/31Y, 3AX/3AY, 51X/51Y, 6AX/6AY)
# of 2.5-inch drive bays total / available
1 / 1 fixed (standard)
# of direct-attach 2.5-inch drive bays
3 hot-swap (using optional Storage and I/O Expansion Unit)
Maximum internal 2.5" HDD capacity
146,8GB SAS standard
Maximum HDD capacity using a storage
expansion unit
293.6GB (4 x 73.4GB), using optional Storage and I/O Expansion Unit
2.5-inch HDD capacities supported
36.4, 73.4GB, 146,8GB — 10K RPMs
# of HDDs standard
None
# of optical drives standard
None (one standard in chassis)
# of diskette drives standard
None (one standard in BladeCenter / BladeCenter H chassis)
Internal tape drives supported
None (SAN-attached)
95W (3AX/3AY, 6AX/6AY)
2GB (2 x 1GB) / 32GB (51X/51Y,
6AX/6AY)
Disk drive technology
Serial-Attach SCSI (SAS)
Integrated disk controller
LSI Logic 53C1064
# of disk drives supported per channel
1 (one-drive limit internally, due to available bays)
External disk drive support
NAS/SAN-attach
# of adapter slots total / available
1 legacy PCI-X slot or 1 PCI-E slot (Additional slots available with optional expansion
units)
# of 64-bit / PCI-E x8 slots
1 (in place of the PCI-X slot); 1 PCI-E slot available with the optional Storage and I/O
Expansion Unit (1 maximum)
# of 64-bit / PCI-X 133MHz slots
1 (in place of the PCI-E slot); 2 extra via optional PCI Expansion Unit II (3 total); 1 or 2
extra via optional Storage and I/O Expansion Unit (3 maximum)
# of 32-bit / PCI slots
None
# of video ports
None (chassis-attached)
Video controller
ATI RADEON RN50B
Video memory
16MB SGRAM
Maximum video resolution at 32-bit color
1024 x 768 x 32-bit color at 75Hz
Gigabit Ethernet controllers standard
2 x Broadcom BCM5706S (with TOE support)
# of RS485 ports
None
# of serial ports
None (1 via BladeCenter H chassis)
# of parallel ports
None
# of mouse ports
None (1 via chassis)
# of keyboard ports
# of USB 1.1 ports
Systems management controller
Integrated BMC
Diagnostic LEDs (front panel)
Power good, blade location, over temperature, information, general fault
Predictive Failure Analysis support
Processor, memory, HDDs
Power supply size
Contained in chassis
# of power supplies standard / maximum
# of fans/blowers standard / maximum
Dimensions (HWD) / weight
9.7” (245mm) H
1.14” (29mm) W
17.6” (446mm) D
Operating systems supported
Microsoft Windows Server 2003 (Standard/Web/Enterprise Editions) 32-bit and 64-bit,
Microsoft Windows 2000 Server (Standard/Enterprise Editions), RHEL 3/4 32-bit and
64-bit, SLES 9/10 32-bit and 64-bit, Novell NetWare 6.5, VMware ESX Server 2.5.4/3,
Solaris 10
Length of limited warranty
3 years (parts and labor) onsite
10.77 lb (maximum)
4.88 kg (maximum)
Schema del nuovo Blade Center H 9U con supp
BladeCenter H
Advanced Management Module
BladeCenter HT (4Q)
2-socket PowerPC Refresh (dual core)
2-way low voltage Xeon speedbump
2-way Xeon speedbump
2-socket Opteron speedbump
2-socket Sossaman (very low voltage)
2-socket Xeon Refresh (dual core)
2-socket Opteron Refresh
Dual 4X InfiniBand HCA
Cisco 4X InfiniBand Switch Module
IBM Server Connectivity Module
Nortel 10Gb Uplink Switch
Nortel 10Gb Ethernet (4Q)
Myrinet, Teak, Invivo, Voltaire, Nokia,
Nortel, Ericsson
Blade Center H:
Vista frontale
A: Il BladeCenter H dispone minimo 2 fino a
un massimo di 4 (la configurazione con 4 PS
corrisponde a quanto offerto) power supply che
si inseriscono frontalmente. Ciascun modulo
comprende anche la parte di ventole utilizzate
per migliorare il raffreddamento dei power
supply.
B: media tray che comprende un DVD
UltraSlim 9,5 mm, 2 USB esterne ed il pannello
di Full Light Dignostic che è riportato in
dettaglio nella terza immagine. Tale tray è hot
swap e può essere condiviso dalle lame
secondo le necessità.
Vista posteriore
A: Alloggiamenti Switch: 1Gb Ethernet, 4Gb Fibre
Channel, 1X InfiniBand e Myrinet
B: Alloggiamenti Switch ad alte prestazioni: Il
BladeCenter H disponendo di 2 U aggiuntive
rispetto al Blade Center a 7U dispone di 4 bay per
ospitare
4X InfiniBand consentendo maggiori
performance.
C: connessione seriali e Light Path Diagnostic
Panel: l’LPD posto nella parte posteriore è per
facilitare la risoluzione dei problemi mentre si è
dietro al rack. La nuova connessione seriale
presente nel modello H permette ai clienti anche
una connessione seriale diretta ad ogni blade nello
chassis. Ecco l’ immagine di dettaglio:
D: Advanced Management Module per una gestione semplificata di tutte le componenti.
E: Ventole hot swap: l’architettura N+N hot swap e ridondato riduce il numero di componenti necessarie al raffreddamento aumentando
l’uptime, la manutenzione e riducendo significativamente l’assorbimento di corrente.
F: una delle prese per l’alimentazione dello chassis
Il BladeCenter H fornisce i sistemi di controllo e gestione atti a gestire ed interfacciare i sistemi di controllo delle singole lame blade:
Advanced Management Module per la gestione hardware del sistema;
IBM Director con strumenti di gestione e di installazione dei sistemi per la gestione software dei sistemi;
Predictive Failure Analysis per il controllo del buono stato di funzionamento di Dischi, Processori, ventole, memoria;
Light Path Diagnostics per il controllo del Blade server, del processore, della memoria, degli alimentatori, delle ventole, degli switch, del
modulo di gestione (Advanced management module), i dischi e le expansion card
Blade Chassis
Caratteristiche disponibilità
Light path diagnostics
Memoria Chipkill
Midplane alta disponibilità
Moduli di gestione ridondanti
Offerta
Ethernet layer 2-7 integrato
Switch Fibre Channel
integrato
Switch InfiniBand 4X
integrato.
Espansione opzionale -- due
hard drive aggiuntivi e due slot
I/O
Supporto clustering Myrinet
Caratteristiche
Sì
Sì
Sì
Sì
Sì
Tre venditori
Sì
Sì
Sì
Alcuni utili link per ulteriori informazioni sulla soluzione IBM bladecenter
Descrizione sito web
Prodotto BladeCenter
Link
http://www.ibm.com/servers/eserver/bladecenter/
Prodotto chassis BladeCenter
Prodotto server blade
http://www.ibm.com/servers/eserver/bladecenter/chassis/index.html
http://www.ibm.com/servers/eserver/bladecenter/blade_servers_overview.html
Pagina prodotto moduli switch BladeCenter
http://www.ibm.com/servers/eserver/bladecenter/switch/index.html
Siti internet IBM Express servere e storage
ibm.com/servers/eserver/express/offerings_xseries.html
IBM Research
http://www.research.ibm.com/journal/rd49-6.html
Scheda tecnica riassuntiva soluzione sottosistema storage IBM DS4200
I lotti 1-2-3-5 proposti prevedono un sistema storage IBM DS4200 di differenti capacita’ ma con identiche caratteristiche di ridondanza,
gestione e affidabilita’ complessiva. Il sistema DS4200 supporta vari tipi di RAID. Ha una ridondanza intrinseca di tutti i componenti
critici (Fan, Power, Controller) per assicurare la massima affidabilita’. Consente espansioni fino almeno a 56TB con dischi S-ATA. Ogni
Cluster accede il ssistema DS4100 tramite un Server x3655 che gestisce il Cluster stesso, il sottosistema storage e l’ambiente GPFS
Server. Con tale soluzione i nodi di calcolo sono impegnati per la parte I/O tramite il proprio Client GPFS e quindi non partecipano in
alcun modo alla gestione del GPFS stesso, permettendo un uso ottimale delle risorse di calcolo stesse.
Infiniband Network
La rete di IPC (Inter Process Communication) proposta garantisce una performace di 10Gbit/sec (4x) da ogni nodo computazionale. Per
questa ragione e per garantire che la soluzione sia full non blocking e full bisection bandwidth la nostra scelta e’ caduta sull’utilizzo di
switch Cisco Infinband 4x per BladeCenter H
La nostra soluzione propone, come gia’ riportato, prodotti della famiglia Cisco. La scelta di Cisco e’ dovuta alla garanzia di perfomance
ed affidabilita’ garantite da Cisco e da noi confermate.
Cisco con IBM sta lavorando attivamente allo sviluppo sia dei nuovi prodotti per BladeCenter H che al miglioramento e sviluppo di
drivers e firmware per questa tecnologia. Con l’acquisizione di Topspin, Cisco ha deciso di investire massicciamente in questo settore e
lo dimostra la leadership nello sviluppo di OpenIB ed il rilascio dei drivers OFED in parallelo con quelli proprietari, oltre a lavorare
attivamente nello sviluppo di nuovi cavi, componente delle soluzioni infiniband piuttosto delicata ad oggi.
Cisco inoltre ha partecipato alla realizzazione di 13 dei 20 cluster piu’ grandi basati su Infiniband e maggiori info sulle referenze
possono essere trovate all’URL http://newsroom.cisco.com/dlls/2006/prod_111406f.html, di cui citiamo
•
CINECA
•
TriGrid
•
Cybersar
•
Sandia National Laboratories
•
the Air Force Research Laboratory Maui High Performance Computing Center,
•
Texas Advanced Computing Center at The University of Texas at Austin,
•
the College of Computing at Georgia Tech,
•
the University of Sherbrooke,
•
the University of North Carolina at Chapel Hill,
•
National Center for Supercomputing Applications,
•
the University of Oklahoma
•
University of Florida
•
Stanford University
In particolare Sandia National Laboratories Thunderbird Linux cluster e' classificato al 6 posto della Top 500 supercomputing list ed e' il
piu grande cluster ad oggi realizzato con standard Infiniband.
Ad oggi i fornitori di Infiniband si relazionano con un unico fornitore di silicio, i chip utilizzati da Cisco, Voltaire e Silverstorm dipendono
dal silicio realizzato da Mellanox da cui i produttori sopra menzionati acquistano le HCA. La differenza nelle varie soluzioni IB sul
mercato e’ percio’fatta dai drivers e dal tipo di Systema di management utilizzato. Cisco ha realizzato un software, chiamato Subnet
Manager, molto efficace che riesce a gestire e monitorare tutta la rete Inifniband dei cluster permettendo un attento controllo ed il
routing dei packages su un differente path, in caso di failure, in tempi ridotti, si pensi come esempio che in un cluster di circa 1280
compute nodes, composto da IBM BladeCenter H Cisco Infiniband 4x switches e SFS-7024 come second level switches, il subnet
manager (SM) e’ in grado di ricalcolare on-the-fly il reroute dei pacchetti in un tempo di circa 2 secondi in caso di failure di un path (per
esempio cavo rotto).
Le specifiche di Infiniband, presenti sul sito ufficiale IBTA (http://www.infinibandta.org/home) consentono un BER di 10-12 , Cisco
supporta e qualifica il proprio HW con specs piu’ restrittive (10-15 BER), tradotto in termini pratici: un BER di 10-12 corrisponde ad un
rischio di circa 1728 errori all’ora che si riduce a due errori quando si utilizzano prodotti Cisco come quelli da noi proposti nella nostra
offerta. Nel caso di switch come il SFS-7024 completo di 288 porte DDR gli errori possibili possono essere circa 41 per ora a differenza
di prodotti che si attengono strettamente alle specifiche IBTA che consentono circa 41472 errori all’ora, come evidenziato nella tabella
seguente
Come riportato in precedenza uno dei componenti fondamentali delle soluzioni infiniband e’ il Subnet Manager, Cisco ed IBM
garanstiscono per questa soluzione un network fully managed in tutte le sue componenti, grazie al Subnet Manager software fornito a
corredo della soluzione.
Le caratteristiche principali del Subnet Manager di Cisco sono le seguenti:
•
Unico nel mercato con support hot-standby
•
Capacita’ di “sweep” di 4600 nodi in 30 secondi
•
Supporto HA: se il master Subnet Manager dovesse avere un problema, si inneschera’ un meccanismo di failover del Subnet
Manager per garantire la continuita’ del servizio.
•
Configurazione via CLI
•
Ricalcolo e load balancing dei package routes quando un cambio avviene un cambio nella topologia del network
•
Supporto di MultiPathRecord che nel caso di utilizzo di entrambe le connessioni presenti su ciascuna HCA, consente di non
avere un SPOF.
•
Supporto di SNMP trap per permettere il management degli switch con i tools standard forniti dall’industria per la gestione
degli altri prodotti Cisco.
•
Cisco SFS integra CiscoWorks con il supporto di RME, DFM, NCM, TACACS.
Evidenziamo che la tecnologia DDR e’ ad oggi ancora giovane e non consolidata come la SDR; ad oggi esistono alcuni problemi di
stabilita’ di performance dovuti a due “critical bug” trovati nel firmware di Mellanox che Cisco ha risolto decretando la stabilita’ e
superiorita’ del prodotto Cisco verso la concorrenza.
Come gia’ accennato in precedenza, Cisco sta investendo risorse nello sviluppo di Infiniband, a seguito dell’acquisizione di Topspin.
Come prova di questa affermazione ricordiamo che Cisco e’ uno dei maggiori contributori ad OFED ed OpenMPI che includono:
•
•
•
•
•
•
•
OFED’s core architecture (Roland Drier-CISCO)
IPoIB (Roland Drier-CISCO)
SRP (Roland Drier-CISCO)
Final upstream kernel integration to Linux (Roland Drier-CISCO)
OMPI (Jeff Squyres-CISCO)
Overall OMPI direction and feature setting for OFED (Jeff Squyres-CISCO).
QA on OFED (Scott Weitzenkamp-CISCO).
Per la soluzione proposta consigliamo di utilizzare lo stack software (librerie MPI, drivers) proprietario fornito da Cisco che assicura, ad
oggi, una maggiore stabilita’ e sicurezza rispetto alla versione OFED ancora in sviluppo.
Evidenziamo che la soluzione da noi proposta è totalmente Fully Managed in tutte le componenti Infiniband.
CISCO SFS 7012d Infiniband Server Switch 144 porte
La connettivita’ Infiniband Nei lotti 1, 2 e 6, viene assicurata tramite uno Switch esterno espandibile a 144 porte con tecnologia DDR che
si connette verso i nuovi Chassis con Passtrough per garantire 4X DDR, e con le presistenze agli Switch CISCO IB-4X interni agli
Chassis stessi. In tale configurazione e’ garantita la connessione SDR verso le presistenze e DDR verso gli Chassis e le blades offerte
nella proposta. Il sistema gestisce automaticamente le due tipologie di connessioni.
La rete disegnata e’ di tipo fully non-blocking.
http://www.cisco.com/en/US/products/ps6987/index.html
Ù
Device driver IPC e librerie MPI
Le HCA installate sui nodi computazionali fanno parte della famiglia di prodotti Infiniband offerti da Cisco e supportano Message
Passing Interface (MPI), IP over Infiniband (IPoIB) and Sockets Direct Protocol (SDP) che utilizzano il protocollo Infiniband Remote
Direct Memory Access (RDMA) a supporto delle prestazioni richieste dalle applicazioni del mondo High Performance Computing (HPC).
Ad oggi sono disponibiloi sia lo stack di drivers che la versione commerciale di OpenIB Gen2 oppure la versione offerta dalla comunita’
OpenSource. Nella nostra offerta noi forniremo la versione commerciale dello stack software ed il relativo supporto.
Scheda tecnica riassuntiva soluzione interconnessione Infiniband Topspin/CISCO
Tutti i Lotti integrano un’interconnessione a alta efficienza Infiniband 4X Topspin/CISCO.
IBM ha un accordo di collaborazione tecnologica con Myricom e il consorzio InfiniBand. Per quest’ultimo partecipa alla definizione dello
standard e alla sua evoluzione (si veda www.infiniband.org) e ha inoltre stabilito con alcuni dei principali produttori di architetture di rete
(Topspin/CISCO, Voltaire) una collaborazione tecnologica di lungo termine.
Tenuto quindi in conto lo specifico ambito applicativo di interesse per COMETA si e’ ritenuto particolarmente interessante proporre una
rete di interconnessione Infiniband-4X (di seguito IB) che consenta la completa interoperabilita’ con le architetture Infiniband 1X gia’
presenti nella realizzazione TriGrid.
Come e’ noto IB e’ uno standard che si e’ imposto da qualche hanno e sul quale sono convenuti i maggiori costruttori di soluzioni di
rete, di sistemi storage e di architetture cluster. IBM integra e supporta IB in tutta la gamma dei Server, supporta lo sviluppo dei driver,
del SW di gestione e dell’ambienti di programmazione parallela MPI. Ha inoltre completato, o sta completando, la migrazione di alcuni
ambienti SW di gestione dei dati e di accesso efficiente ai propri sistemi storage sfruttando i protocolli di comunicazione nativa. L’utilizzo
dei protocolli nativi consente di ottenere le maggiori prestazioni in termini di latenza e bandwidth, vicini a quelli limite dell’architettura
stessa.
Di seguito si riportano alcune chart da Topspin dove si evidenziano le peculiarita’ di IB rispetto a altre connessioni ad elevate
prestazioni.
Topspin Compelling HPTC Performance
900
4500
MPI over InfiniBand
MPI over Myrinet
MPI over Quadrics
700
600
3500
3500
Latency (us)
Bandwidth (MBps/s)
800
500
400
300
200
MPI over InfiniBand
MPI over Myrinet
MPI over Quadrics
2500
2000
1500
1000
100
0
3000
500
4
16
64
256
1024
4096 16384 65536
0
262144
4096
Message Size (Bytes)
8192
16384 32768 65536 1301072 262144524288
Message Size (Bytes)
InfiniBand
850 MBps
Quadrics
Myrinet
GigE
300 MBps
220 MBps
120 MBps
Latency (small msg)
6.5 us
5 us
8 us
70 us
CPU Utilization
1-3%
Not available
Not available
Throughput
50%
Source: Ohio State and Topspin
6
La disponibilita’ di specifici driver con l’interconnessione IB Topspin consente di sfruttare al meglio l’interconnessione tramite protocollo
di programmazione MPI supportato in MPICH e MPICH2. Questi due ambienti saranno installati nei due clusters e verrano effettusate
dei test di verifica di prestazione e di funzionalita’ in collaborazione con il personale dei due centri stessi.
Standard Topspin MPI
Uses Zero-Copy RDMA Support to
minimize CPU utilization
MPI v 1.2: Standardized
June 1995
Application
MPICH
From Argonne
(v. 1.2.5.2)
MVICH
From LBL (v 1.0)
MVAPICH
From OSU (v 0.9.2)
Improvements for IB:
Improved shared memory and lazy
memory registration optimization
Verbs API
Adding the MPE performance analysis
tool to our MPI distribution.
IB Transport
Improving the program which invokes
MPI jobs (mpirun_rsh).
IB Network
IB Link
IB Physical
Using InfiniBand's hardware multicast to
improve the performance of MPI group
communication.
Implementing a new flow control scheme
Support for MPI-2.
MPI Layers in Software
19
IB layers in Software
IB Layers in Hardware
IBM Systems Group
InfiniBand Advantage
RDMA Kernel Bypass Model
Traditional Model
Application
User
Application
User
Sockets
Layer
Kernel
Sockets
Kernel Layer
User Space Access
(e.g. MPI, uDAPL)
SDP
TCP/IP
Transport
TCP/IP
Transport
IB Driver
(Verbs i/f)
IPoIB
Driver
RDMA i/f
Hardware
Hardware
Page 22
© 2005 IBM Corporation
IBM Systems Group
InfiniBand Performance Enhancements
Application
Transparent
BSD Sockets
Custom / Enhanced Performance
Async I/O
uDAPL
MPI
extension
Direct
Access
TCP
IP
SDP
IPoIB
10G IB
1GE
Throughput
0.8Gb/s
1.4Gb/s
3.6 Gb/s
6.2Gb/s
6.4Gb/s
6.4Gb/s
Latency
60+ usec
30 usec
18 usec
18 usec
<8 usec
<6 usec
Page 23
© 2005 IBM Corporation
E’ altresi’ evidente che Blade Center H (BC-H) e Blade LS21 consentono di sfruttare a pieno le caratteristiche dell’interconnesione 4X e
quindi ottenere valori di latenza e di throughput significativamente migliori.
Da notare inoltre che LS21 e BC-H supportano una rete Gbit ridondata che consente il cluster management e la comunicazione via LAN
di tutte le Blades. Di seguito quindi un riassunto sintetico delle specifiche di interconnessione Gbit e Infiniband 4X specificatamente
disegnate per questa realizzazione.
- 2 interfacce di rete distinte (non una singola dual port) Broadcom BCM 5708S ethernet 1 Gbit/sec
- 1 interfaccia di rete Cisco Systems 4X Infiniband DDR Expansion Card for IBM BladeCenter (questa scheda supporta 20Gbps
bidirectional)
Chassis IBM BladeCenter H da 9 U con questi componenti di rete:
-
due switch Nortel layer 2/3GbE Rame a 6 porte ciascuno
un 4X Infiniband Copper Pass Thru Module
InfiniBand 4X (10Gbps unidirectional, 20Gbps bidirectional) consente accessi a bassa latenza (ordine dei 3 microsec.), elevata
bandwidth (circa 1GByte/sec come valore di picco) e alta prestazione ad ogni nodo blade indistintamente dalla posizione fisica dove
risulta collocato.
Il disegno di questo tipo di collegamento garantisce la scalabilità necessaria ad alti numeri di nodi concorrenti ad un cluster HPC.
Le topologie dell’HPC network basato su infiniband puo’ variare in base alle performance necessarie ed al budget disponibile per tale
componente del cluster linux. Una configurazione full non blocking come quella proposta in questo documento consente la massima
disponibilta’ della bandwidth di Infiniband 4x, le HCA utilizzate hanno due porte 4x che sfruttano la banda fornita dal bus PCI-E 8x
caratteristiche delle blades LS21..
Le applicazioni ed i server che fruiranno dell’infrastruttura di calcolo hanno le garanzie di adeguata sicurezza e privatezza
Il sistema di interconnessione proposto consente l’ integrazione fra tecnologie di connettività eterogenee per ottenere in sistema di rete
unificato.
Il cablaggio per InfiniBand 4X consente anche il supporto per nuovi protocolli quali il 10Gb Ethernet piuttosto che l’8/10 Gb Fibra.
Non viene fatto uso di protocolli proprietari ma vige il rispetto degli standard internazionali, sia per i protocolli di rete impiegati, che per le
infrastrutture passive.
Per quanto riguarda il collegamento Gbit – Rame del sistema di interconnessione High Performance Infiniband 4x supporta banda fino
a 10Gbit unidirectional e 20Gbit bidirectional.
Scheda tecnica riassuntiva sull’integrazione dell’ambiente middleware INFN Grid, integrazione datagrid con IBM GPFS, e
gestione centralizzata remotizzata di tutta l’infrastruttura.
L’architettura dei Cluster consente un controllo remoto tramite KVM, funzione integrata in ogni Blade Center. Ne segue che
remotamente tramite connessione LAN si possono gestire tutti i Blade Center presenti nell’architettura per COMETA. Il middleware di
gestione puo’ essere quello rilasciato da IBM e denominato CSM oppure un qualsiasi altro middleware che consente funzionalita’
similari. L’architettura supporta la distribuzione Scientific Linux del CERN oltre agli ulteriori ambienti previsti nel progetto INFN Grid.
Ricordiamo inoltre che IBM ha una collaborazione attiva con Platform per il supporto di ambienti Grid computing distribuiti.
Un ulteriore integrazione dell’architettura e’ ottenibile tramite l’accesso distribuito di un unico filesystem distribuito a sua volta sui vari
centri ma visto come unitario per tutti.
Vi sono differenti soluzioni per ambienti datagrid. Il piu’ tradizionale e’ AFS, che consente una elevata interoiperabilita’ tra tutte le
piattaforme distribuite e una caratteristica versatilita’, ma che non consente prestazioni adeguate per accessi simultanei come possono
avvenire per sistemi di calcolo paralleli.
IBM di recente ha promosso GPFS come ambiente datagrid di elevate prestazioni e che potesse connettere piu’ sistemi
geograficamente distribuiti. La figura sottostante riassume l’architetttura GPFS di uno o piu’ Cluster interoperanti e connessi tramite LAN
(la parte in blu). Lo schema puo’ essereapplicato a un solo Cluster cosi’ come a piu’ Clusters connesssi fra loro tramite LAN geografica.
GPFS 2.3 e release successive consente di gestire in modo unico e centralizzato il filesystem distribuito necessitando una unica politica
relativamente a uid. In particolare IBM con INFN sta definendo un contratto di supporto a livello nazionale di tale ambiente per poter
garantire la sua funzionalita’ e la correzione di errori nonche’ il supporto del Lab IBM per specifiche richieste.
B'Center
...
...
FAStT600 Controllers
and disks
Cluster Interconnect
B'Center
B'Center
NSD Connected Storage Solution
BladeCenter
Compute Nodes
B'Center
x345 Storage
Nodes
L’architettura GPFS gestisce il filesystem parallelo e distribuito tramite alcuni Server (server GPFS), ai quali sono connessi direttamente
tramite SAN i sistemi storage, che a loro volta sono connessi con rete a alte prestazioni o Gbit i nodi di calcolo (client GPFS). In questo
modo ogni nodo di calcolo accede un filesystem unico e distribuito su tutti i siti in modo trasparente. Sara’ cura del GPFS stesso gestire
la distribuzione dei dati tra i vari Server, mantenerne la congruenza e la corretta ridondanza alfine di garantirne l’acceso anche in caso
di caduta di uno dei Server GPFS. Questo tipo di funzionalita’ e’ essenziale alfine di non penalizzare gli altri siti nel caso in cui venisse
meno l’accesso di uno dei Cluster disponibili nell’architettura COMETA.
Di seguito si riportano alcuni riferimenti su GPFS accedibili via web.
1.
2.
3.
4.
5.
6.
7.
GPFS for Linux FAQ: http://www.ibm.com/servers/eserver/clusters/software/gpfs_faq.html
GPFS for Linux documentation: http://www.ibm.com/servers/eserver/clusters/software/gpfs.html
GPFS Redbooks: http:// www.redbooks.ibm.com/
GPFS Papers: http://www.almaden.ibm.com/StorageSystems/file_systems/GPFS/Fast02.pdf
GPFS Research: http://www.almaden.ibm.com/StorageSystems/file_systems/GPFS/
GPFS for AIX Architecture and Performance: http://www.ibm.com/servers/eserver/clusters/whitepapers/gpfs_aix.html
GPFS on Linux Clusters: http://www.ibm.com/servers/eserver/clusters/software/gpfs.html
Nel progetto COMETA verra’ realizzata un’infrastruttura integrata che assicuri la funzionalita’ del middleware INFN Grid e la sua
preinstallazione.
Sara’ anche reso disponibile e installato l’ambiente GPFS per la funzionalita’ datagrid distribuita nonche’ gli altri ambienti di
programmazione parallela espressamente indicati nei lotti.
IBM sta inoltre sviluppando GPFS nativo su Infiniband che, quando disponibile, potra’ ulteriormente migliorare le condizioni di
prestazione e scalabilita’ dell’architettura I/O.
Da notare che l’architettura di I/O potra’ usufruire di due storage node che permetteranno la ridondanza e la migliore distribuzione del
carico durante l’accesso al sistema storage.
Cluster di Calcolo offerti nei 6 siti COMETA
Caratteristiche comuni alle Blades offerte per i vari lotti.
La soluzione proposta soddisfa in toto le specifiche del capitolato tecnico e le migliora in parte
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Blades LS21 Blade biprocessori dual-core Opteron 2218 revF
Memoria (RAM) 2GB per core in tecnologia DDR2 667MHz
Disco: 73.4GB SAS throughput largamente superiore a 80MBs
2 Link Gbit ethernet per blade autosensing
montaggio in rack con densita’ 14 blade in 9U
Scientific Linux CERN 3.05 installato e supporto bootstrap via rete PXE con Linux
Unita’ DVD-ROM e Floppy integrati in ogni Blade Center, quindi ogni 14 Blades
KVM per ogni Blade Center con remotizzazione e interfaccia WEB
Cavi di connessione alimentazione, rete e altro, previsti nella fornitura
Apparati di rete Gbit ridondati e integrati nel Blade Center H
Switch Infiniband 4X integrato nel Blade Center H
Alimentazione ridondata e Power hot-swap
Ambiente di sviluppo Portland Group CDK ottimizzato per LS21 e comprensivo di compilatori per HPC con 3 licenze.
Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ Portland Group ottimizzati per LS21
Rete di servizio
•
Connessione dei nodi LS21 tramite rete Gbit ridondata interna ai Blade Center H
Rete di calcolo
•
Rete di interconnessione Infiniband 4X con Infiniban Pass Thru module integrato nello Chassis (presente nelle sedi di infn
Catania, inaf Catania e inaf Palermo ) oppure switch integrati in Balde center H a bassa latenza full no-blocking con banda
passante 10Gbit/sec unidirezionale – 20Gbit/sec bidirezionale e latenza inferiore a 4microsecondi. Lo switch opera in
modalità wirespeed e puo’ essere gestito via CLI e SNMP.
•
I Blade center H sono predisposti per connettivita’ verso reti IP e Fiber Channel in modo da connettersi verso FC SAN, NAS
appliance, IP SANs e reti TCP/IP
KVM
•
Blade center H prevede un sistema tipo KVM integrato
Sistema di storage e I/O nodes
L’architettura storage rispetta in pieno quanto descritto nel capitolato di gara e lo migliora ulteriormente
•
Doppio I/O node per consentire ridondanza e prestazioni in ambiente GPFS
L’installazione di tutti i componenti, la loro funzionalita’ e l’ottimizzazione, saranno effettuati a cura di personale specialistico che
seguira’ il progetto e supportati dal centro competenza Linux IBM di Milano.
La configurazione dell’architettura proposta assicura un elevato livello di ridondanza in tutti i componenti per cui errori HW di tipo
bloccante sono considerati con un’incidenza statisticamente trascurabile. In particolare si fa notare che:
•
•
•
•
•
Alimentazione ridondata per tutti i componenti
Doppio I/O node
Alimentazione ridondata hot-swap in Blade Center H
Backplane ridondata in Blade Center H, quindi anche in caso di rottura di backplane il sistema mantiene la funzionalita’ anche
se a prestazioni inferiori
Doppia rete Gbit
Sistema di management HW integrato nei sistemi Blade Center e nel sottosistems storage. Ambiente integrato con INFN-Grid
+GLITE ed LSF
SEDE 1 Sistema di Calcolo INFNCT
Art 1.1 Sistema di calcolo
Cluster composto da 98Blades LS21 Opteron dual-core 2218 2.6GHz in 14lade Center H la cui configurazione e’ di seguito riportata
V2.8.5
IBM eServer
Processor Hardware - BladeCenter
88524XG
IBM BladeCenter™ H Chassis with 2x2900W Power Supplies
7
32R1860
Nortel Layer 2/3 Copper GbE Switch Module for BladeCenter
14
43W4419
4X IB Pass Thru Module
7
31R3335
IBM BladeCenter™ H 2900W AC Power Module Pair with Fan Packs
7
25R5785
IBM BladeCenter™ H Triple IEC 320 C20 (200-240V) 2.8M
14
05K9276
USB LETTORE FLOPPY PORTABLE DISKETTE DRIVE
7
Processor Hardware - BladeCenter LS21
98
79716AG
LS21, AMD Opteron Dual Core 2218 2.6GHz/1GHz, 1 MB L2, 2x1 GB, O/Bay SAS
25R8897
AMD Opteron Dual Core Processor Model 2218 2.6GHz, 1MB L2 Cache, 68w
98
39M5864
2GB (2x1GB Kit) PC2-5300 DDR2 SDRAM VLP RDIMM
294
26K5777
73.4 GB SAS HDD (2.5") SFF
98
43W4421
Cisco 4X IB DDR Exp Cd (CFFh)
98
Processor Hardware - x3655 Storage Nodes
42C2071
Emulex 4 Gb FC HBA PCI-E Controller Dual Port
2
Cabinet Hardware - xSeries Main Cabinet
39M2895
e1350 IBM USB Conversion Option
2
Storage
18147VH
DS4200 Express Model 7V (2 GB Cache, 1 GB per controller)
1
43W9738
Express DS4200 750GB 7.2K SATA EV-DDM HDD
16
18128VH
IBM System Storage DS4000 EXP420 Storage Expansion Unit
5
43W9738
84
39M5696
1m Fiber Optic Cable LC-LC
14
39M5697
4
26K7941
SW 4 Gbps SFP transceiver pair
8
18128VH
1
43W9738
16
39M5954
Express DS4200 EXP420 Attach 1-3
1
39M5957
1
39M6009
Express DS4200 Linux/Intel Host Kit
1
4670026
e1350 Cisco SFS 7012D 144-port DDR IB Switch Bundle
44E9013
4670029
- Cisco SFS 7012/7024 350w Power Supply
3
e1350 Cisco SFS 7012D/7024D Switch Fabric Module - w/ Mgmt
2
4670028
Cisco SFS 7012P/7024D 12-port 4X DDR IB Line Card
7
39Y7932
4.3m, 10A/100-250V, C13 to IEC 320-C14 Rack Power Cable
2
44E9062
3m Cisco 4X DDR InfiniBand SuperFlex Cable
42
44E9070
26R0847
8m Cisco 4X DDR InfiniBand Cable
56
8m InfiniBand Cable (4x-to-4x)
4
26R0849
8m InfiniBand Break-Out Cable (12x-to-three 4x)
8
Network Hardware - Low Latency Switching - InfiniBand 3rd Party
1
SEDE 2 Sistema di calcolo INAF-OACT
Art 2.1 Sistema di calcolo
Cluster composto da 42 Blades LS21 Opteron dual-core 2218 2.6GHz in tre Blade Center H la cui configurazione e’ di seguito riportata
con aggiunta del diagramma visivo
V2.8.5
IBM eServer
88524XG
3
32R1860
6
43W4419
3
31R3335
3
25R5785
6
05K9276
3
79716AG
42
25R8897
42
39M5864
126
26K5777
42
42
43W4421
39M2895
2
4670026
1
44E9013
4670029
3
2
4670028
3
39Y7932
2
44E9062
26R0847
3m Cisco 4X DDR InfiniBand SuperFlex Cable
42
5
26R0849
9
Connessione Infiniband tramite Switch esterno tra tutti gli Chassis offerti e le preesistenze
SEDE 3 Sistema di calcolo UNIME/INGV
Cluster composto da 70 Blades LS21 Opteron dual-core 2218 2.6GHz in cinque Blade Center H la cui configurazione e’ di seguito
riportata con aggiunta del diagramma visivo
V2.8.5
IBM eServer
88524XG
5
32R1860
10
32R1756
Cisco Systems 4X InfiniBand Switch Module for IBM BladeCenter
10
31R3335
5
25R5785
10
05K9276
5
79716AG
70
25R8897
70
39M5864
210
26K5777
32R1760
Cisco Systems 4X InfiniBand HCA Expansion Card for IBM BladeCenter
70
70
39M2895
2
Storage
18128VH
1
43W9738
16
39M5696
4
26K7941
2
39M5954
1
39M6009
1
1
26R0813
3m InfiniBand Cable (4x to 4x)
Connessione Infiniband tra coppie o tra tre chassis tra tutti gli chassis offeri e le preesistenze
2
SEDE 4 Sistema di calcolo UNICT-DIIT
Cluster composto da 28 Blades LS21 Opteron dual-core 2218 2.6GHz in due Blade Center H la cui configurazione e’ di seguito riportata
V2.8.5
IBM eServer
88524XG
2
32R1860
4
32R1756
4
31R3335
2
25R5785
4
05K9276
2
28
79716AG
25R8897
28
39M5864
84
26K5777
28
32R1760
28
79851AG
x3655, AMD Opteron Dual Core 2210 1.8GHz/1067MHz, 2MB L2, 2x512MB, O/Bay 3.5in HS SATA/SAS, SR-8ki, CD-RW/DVD,
835W p/s, Rack
25R8938
Opteron Dual Core 2210 1.8GHz/1MBx2
2
41Y2759
1 GB (2x512MB Kit) PC5300 667 MHz ECC DDR SDRAM RDIMM
6
40K1043
73GB Hot-Swap 3.5" 15K RPM HS SAS HDD
4
2
42C2071
2
40K1906
835 Watt Hot-swap Power Supply Option (Non-US)
2
05K9276
2
39M2895
2
26R0813
8
8
Storage
18147VH
1
43W9738
16
18128VH
1
43W9738
16
39M5696
10
26K7941
4
39M5954
1
39M6009
1
Connessione Infiniband tra coppie o tra tre chassis tra tutti gli chassis offerti e le preesistenze
SEDE 5 sistema di calcolo UNICT-DMI
Cluster composto da 28 Blades LS21 Opteron dual-core 2218 2.6GHz in due Blade Center H la cui configurazione e’ di seguito riportata
V2.8.5
IBM eServer
88524XG
2
32R1860
4
32R1756
4
31R3335
2
25R5785
4
05K9276
2
79716AG
28
25R8897
28
39M5864
84
26K5777
28
32R1760
28
39M2895
79851AG
25R8938
x3655, AMD Opteron Dual Core 2210 1.8GHz/1067MHz, 2MB L2, 2x512MB, O/Bay 3.5in HS SATA/SAS, SR-8ki, CD2
RW/DVD, 835W p/s, Rack
2
Opteron Dual Core 2210 1.8GHz/1MBx2
41Y2759
1 GB (2x512MB Kit) PC5300 667 MHz ECC DDR SDRAM RDIMM
6
40K1043
73GB Hot-Swap 3.5" 15K RPM HS SAS HDD
4
42C2071
2
40K1906
835 Watt Hot-swap Power Supply Option (Non-US)
2
05K9276
2
2
Storage
18147VH
1
43W9738
16
18128VH
2
43W9738
24
39M5696
10
26K7941
5
39M5954
1
39M6009
1
26R0813
8
8
Connessione Infiniband tra coppie o tra tre chassis tra tutti gli chassis offerti e le preesistenze
SEDE 6 Sistema di calcolo INAF-OAPA/UNIPA
Cluster composto da 112 Blades LS21 Opteron dual-core 2218 2.6GHz in otto Blade Center H la cui configurazione e’ di seguito
riportata con aggiunta del diagramma visivo
V2.8.5
IBM eServer
88524XG
8
32R1860
16
43W4419
6
31R3335
6
25R5785
16
05K9276
8
79716AG
112
25R8897
112
39M5864
336
26K5777
112
43W4421
112
39M2895
4670026
1
44E9013
4670029
3
2
4670028
8
39Y7932
2
44E9070
26R0847
4
26R0849
8
2
8m Cisco 4X DDR InfiniBand Cable
112
Connessione Infiniband tramite Switch esterno tra tutti gli chassis offerti e le preesistenze
10 x LS21 Addizionali da inserire nelle preesistenze
Processor Hardware - BladeCenter LS21 (Cometa 1)
79716AG
10
12X7051
3 Yr On-Site 9x5x4hr
4
25R8897
10
39M5864
30
26K5777
10
32R1760
10
Integrazione e Controllo
L’architettura IBM e1350 e’ garantita per i componenti triennali per la durata di 36 mesi modalita’ di intervento NBD. La proposta
prevede inoltre l’integrazione e l’installazione presso i siti Cometa con gli ambitni SW definiti (si rimanda alla descrizione dei servizi di
installazione per maggiori dettagli).
Servizi di installazione e di manutenzione
Secondo quanto indicato nelle sezioni precedenti, verranno forniti oltre l’infrastruttura HW e i prodotti SW di gestione (GPFS, MPICH,
driver IB anche i servizi di installazione e personalizzazione in accordo con l’ambiente INFN Grid e in collaborazione con il personale
degli Istituti coinvolti in COMETA. Riteniamo che l’installazione dei vari siti si possa completare in tempi ragionevolmente rapidi, circa
30giorni dal ricevimento dell’ordine, supposto che siano soddisfatti i prerequisiti minimi sulla disponibilita’ dei locali e la loro
predisposizione a ospitare le apparecchiature. E’ intenzione di IBM e Computer Var fornire adeguate istruzioni al personale COMETA
in modo da poterlo rendere il piu’ possibile autonomo nella gestione dell’architettura stessa.
Per quanto riguarda la gestione e il supporto per interventi su rotture di componenti HW previsti nei Cluster,metteremo a disposizione
nell’ambito di contratto di manutenzione svolto direttamente da ibm Computer Var mette a disposizione del Consorzio Cometa un
unico punto di chiamata ( via telefono, fax e mail ) il quale attiverà direttamente la chiamata verso ibm . il tempo di risposta IBM e’
generalmente entro le 8 ore, nei giorni feriali, con intervento NBD sempre nei giorni feriali. A ogni buon conto tutti i sistemi previsti nel
disegno dell’architettura prevedono la ridondanza dei componenti critici per cui sono da ritenersi statisticamente trascurabili interruzioni
di servizio causate da rotture HW. Nell’intervallo tra la rottura e il ripristino nel caso potra’ verificarsi una riduzione di prestazioni del
Cluster impattato dalla rottura.
La garanzia e l’assistenza sono ON-SITE per 3 anni con intervento NEXT BUSINES day on-site su tutti i prodotti proposti nella
Nostra offerta . L’assistenza è fornita direttamente dalle case produttrici.
Proiject Management
Responsabile del Progetto
Valentino Pre
Responsabile Logistico
Paolo Gambacciani
Responsabile Amministrativo
Gino Vivaldi
Supporto tecnico
Andrea Federighi
Walter Bernocchi , Sandro De Santis, Carlo Mascolo, Marco Briscolini IBM
Giorno
0
3
15
19
20
26
28
29
33
38
40
Azione
Ricezione dell’ordine
Gestione ordine
Inizio lavori stesura cavo , impianto elettrico e montaggio dello S
Facoltà di Ingegneria di Messina
Inizio lavori per Montaggio Chiller e Impianto Meccanico INFN D
Partenza Via ruote di tutta la merce
previsto arrivo di tutte i blade IBM (tutti i blade dei 5 lotti arriveran
organizzato presso la INFN di CATANIA un training tecnico dedi
prendere contatto con la nuova tecnologia blade , il training conis
sulle macchine ( le date e gli orari saranno concordati anche con
Consegna dei 5 lotti nei 5 siti diversi
Inizio attività di installazioe presso INFN CATANIA e INAF CATA
Inizio attività di installazione presso CECUM Messina e FACOLT
giorni ) Installazione Prodotti APC e IBM
Inziio attività di Installaizone presso DIFTER Palerno ( tempo pre
Inizio attività di Installazione presso INFN Catania ( si tratterà sol
già configurati nelle giornate di training )
Termine Lavori presso INFN CATANIA da Parte di APC
Piano di Lavoro
A partire dalla firma del contratto o dalla comunicazione ufficiale dell’ordine i lavori procederanno nel modo seguente :
APC e IBM
Training (incluso nella fornitura senza alcun costo aggiuntivo )
Prima di effettuare l’installazione presso ogni sito , vogliamo tenere almeno due giorni di training presso la INFN di Catania dedicato al
personale che prenderà in gestione la gestione del cluster . I temi delle giornate saranno i seguenti :
•
•
•
•
•
Conoscenza dei blade
Configurazione del blade
Conoscenza del middleware e configurazione dei servizi
LSF
Storage e software di gestione GPFS .

fornitura di infrastruttura di calcolo, rete e storage per la

Transcript

Documenti analoghi

il dirigente - Città di Ciampino

Trasporti aziendali IBM da Aeroporto Linate a IBM (Segrate) e

IBM acquisisce Ounce Labs per aumentare la sicurezza del software

Terena Network Conference 2007

Curriculum vitae di Stefano Procenzano

IBM. Repressione dell`azione sindacale (25 settembre 2009) La

2015 - IBM Client Certer Milano PPT x PTT

Leggi l`intero comunicato

Smart Working e Mobility_ il concetto di _persona_ all`interno

“Travelling Toys”progetto in collaborazione con Fondazione