Progettazione di una rete ad alte prestazioni per un Data

Transcript

Indice generale
1 Introduzione............................................................................................................... 4
2 Il Progetto Re.Ca.S. (Rete di Calcolo per SuperB) e altre applicazioni ...................5
2.1 Sintesi proposta.................................................................................................. 5
2.2 Il progetto bandiera SuperB ............................................................................. 9
2.3 Il computing in SuperB ................................................................................... 10
2.4 Centri di calcolo distribuito Tier0/Tier1...........................................................12
2.5 La nuova rete metropolitana GARR-X.............................................................. 13
2.6 Obiettivi Generali: Progetto dettagliato per la sede di Napoli.........................16
3 Progettazione di una nuova rete presso il Data Center UniNa................................ 18
3.1 Progetto dettagliato del Data Center Scope..................................................... 18
3.2 Quadro generale .............................................................................................19
3.2.1 Power........................................................................................................ 19
3.2.2 Refrigeratori: Raffreddamento a liquido................................................... 24
3.2.3 Network..................................................................................................... 27
3.2.4 Storage...................................................................................................... 30
3.2.5 Computing................................................................................................. 31
4 Architettura tecnologica proposta........................................................................... 41
4.1 Tecnologia prese in esame................................................................................ 42
4.2 Architettura Qfabric Juniper.......................................................................... 46
4.2.1 Node-Juniper QFX3500............................................................................ 46
4.2.2 Interconnect-Juniper QFX3008.................................................................47
4.2.3 Director-Juniper QFX3100....................................................................... 52
4.2.5 Cablaggio Strutturato............................................................................... 55
Bianco Carmela 566/2170
Pagina 2 di102
5 Riorganizzazione e ammodernamento del Data Center UniNa per le nuove esigenze
.................................................................................................................................... 57
5.1 Modifiche da apportare all'intera infrastruttura per il corretto funzionamento
del Data Center...................................................................................................... 58
5.2 Possibile infrastruttura di rete da realizzare.................................................... 58
5.2.1 Sistema di cablaggio................................................................................. 58
5.2.2 Apparati Centro Stella.............................................................................. 67
5.2.3 Apparati di management di rete ............................................................... 70
5.2.4 Apparati di distribuzione ai rack ..............................................................72
5.2.5 Apparati di management rack................................................................... 73
5.3 Soluzione Juniper applicata al Data Center UniNa......................................... 74
Allegato1.................................................................................................................... 81
Pagina 3 di102
1 Introduzione
Il presente lavoro di tesi consiste nel progettare una nuova rete ad Alte prestazioni
presso il DataCenter UniNa nell'ambito del progetto Re.Ca.S.(Rete di Calcolo per
SuperB). Più precisamente, lo scopo della tesi è definire una possibile
riorganizzazione ed ammodernamento del DataCenter per le nuove esigenze descritte
dal PONa3_00052, con tecnologie all'avanguardia.
Nel secondo capitolo viene fatta una panoramica generale del progetto Re.Ca.S. Una
descrizione di tutti i requisiti da rispettare per progettare un Data Center Distribuito di
tipo Tier1, capace di lavorare in ambito scientifico.
Inoltre in questo capito viene anche definita come avviene l'interoperabilità tra i Data
Center distribuiti localizzati nelle quattro regioni di convergenza, Calabria, Campania,
Puglia e Sicilia in grado di integrarsi in maniera unitaria avviando un contributo di
primaria importanza alle risorse di calcolo e archiviazione dati.
Nel terzo capitolo viene descritta dettagliatamente l'attuale infrastruttura del Data
Center UniNa, considerando gli elementi principali che costituiscono un centro di
calcolo (power, raffreddamento, rete, calcolo e storage) e di tutte la modifiche che
subiranno in base ai requisiti descritti nel capitolo due e alle nuove tecnologie
presenti sul mercato.
Nel quarto capitolo viene descritta la nuova di rete tecnologia Qfabric QFX3000 di
Juniper,questa nuova tecnologia non sarà più basata su una tecnologia Multi-Tier ma
su una tecnologia Converd-Core.
QFX3000 implementa nel data center una rete a livello singolo, consentendo
miglioramenti esponenziali in termini di velocità, scalabilità ed efficienza,
rimuovendo le tradizionali barriere e migliorando l'agilità delle aziende. Un'unica
matrice di switching in ogni sede, ridondata, tutta ad almeno a 40 Gb/sec, e
probabilmente a 100 GbE .
Nel quinto capitolo vengono descritte:
Pagina 4 di102
•
Una possibile soluzione di cablaggio realizzabile nel DataCenter UniNa,
considerando lo standard EIA/TIA942 e le ultime tecnologie di cablaggio
attestate.
•
Una possibile soluzione delle apparecchiature di rete da installare, in base alla
nuova tecnologia Qfabric di Juniper.
In questo capitolo vengono fatte due analisi, in base ai fondi statali istanziati, sulla
soluzione delle
apparecchiature di rete da installare, un'analisi viene fatta sugli
obbiettivi da raggiungere a breve termine
di rete ed un'analisi futura di
cioè attrezzare tutti rack con gli apparati
completamento del DataCenter, rendendolo più
affidabile con l'aggiunta di dispositivi di rete per realizzare la ridondanza tra gli
apparati
Pagina 5 di102
2 Il Progetto Re.Ca.S. (Rete di Calcolo per SuperB) e
altre applicazioni
2.1 Sintesi proposta
L’iniziativa mira, come primo obiettivo, realizzare un nuovo modello di centro di
calcolo e ad utilizzarlo per espandere ad un livello di eccellenza nazionale ed
internazionale l’attuale infrastruttura integrata di Centri di Calcolo e Dati ad alte
prestazioni, collocati nelle zone del Sud. Questi centri saranno parte dell’Infrastruttura
Grid Italiana (IGI) e capaci di soddisfare con servizi IT innovativi, non solo i crescenti
bisogni del mondo della ricerca nel campo della Fisica (con riferimento in particolare
a Super‐B che richiederà una potenza di calcolo e storage dello stesso livello di quello
fornito dall’attuale grid europea del CERN), della Biologia, della Chimica,
dell’Ambiente, del Clima, dell’Energia, etc., ma anche quelli più avanzati e dinamici
di tutto il settore pubblico e delle attività per l’innovazione nel settore privato.
In concreto saranno sviluppati una serie di poli informatici basati sulle più moderne
tecnologie open Grid e Cloud disponibili nel mondo della ricerca, tra i partners di IGI
e i loro collaboratori a livello Europeo ed internazionale. Tali poli saranno
caratterizzati da elevati standard di eccellenza e alta qualità di servizio e saranno in
grado di svolgere un ruolo di primo piano nel supporto di una gran varietà di attività,
richiedendo un uso dell’IT nel territorio di riferimento, ben integrati con connessioni a
larga banda tra loro e con la rete nazionale di centri simili localizzati in altre regioni
italiane e costituenti l’Infrastruttura Grid Italiana (IGI), strettamente connessa a sua
volta con l’infrastruttura Grid europea dell’European Grid Initiative (EGI). In questo
modo il mondo della ricerca in primo luogo e poi i soggetti pubblici e privati del
territorio avranno la disponibilità di un’infrastruttura, di servizi e di applicativi tra i
più avanzati oggi disponibili.
Pagina 6 di102
L’infrastruttura diventerà la piattaforma ideale per la fornitura di servizi on-demand a
costi molto competitivi per le pubbliche amministrazioni e per le PMI, sia come
“facility” di data‐management e di calcolo che per l’offerta di applicativi e servizi
software
avanzati,
favorendo
cosi’
la
modernizzazione
delle
pubbliche
amministrazioni ed i processi innovativi con il trasferimento tecnologico e la crescita
del tessuto socio‐economico del Sud Italia nella logica delle strategie comunitarie
verso network di cooperazione tra ricerca e imprese.
Il progetto nel suo complesso creerà dunque un’infrastruttura di centri Cloud
interoperabili, basati su un adattamento dei servizi software open e obbedienti a
standard internazionali, che hanno mostrato nella grid europea e nazionale di poter
uguagliare in qualità di servizio le prestazioni di quelli delle maggiori compagnie
multinazionali. Con l’integrazione di recenti sviluppi questi saranno capaci di offrire
on-demand, in modo del tutto generale e flessibile, gli ambienti virtuali di calcolo e
storage richiesti dagli utenti del mondo eScience. Inoltre, vista la loro origine,
consentiranno ai nuovi centri di essere immediatamente interoperabili e ben integrati
nella infrastruttura grid nazionale di IGI e in quella europea di EGI raggiungendo un
obbiettivo a cui stanno mirando tutti gli attuali più avanzati sviluppi del mondo Cloud
pubblico e privato.
La finalità del progetto Re.Ca.S. consiste nella realizzazione di una moderna
infrastruttura di calcolo distribuita d'Italia ed in particolare del Mezzogiorno basata su
centri localizzati nelle quattro regioni di convergenza, Calabria, Campania, Puglia e
Sicilia in grado di integrarsi in maniera unitaria avviando un contributo di primaria
importanza alle risorse di calcolo e archiviazione dati.
L'infrastruttura di calcolo sarà realizzata in un solo Data Center per ogni regione, con
la partecipazione a seconda dei casi dell'INFN (Istituto Nazionale di Fisica Nucleare)
e di un Ateneo, o solo dell'INFN, ma comunque realizzando un unico centro per
regione.
Pagina 7 di102
Figura 1:Distribuzione dei Centri di Calcolo
La figura che segue (a sinistra) illustra la posizione dei tre centri principali sopra citati
(Napoli, Bari, Catania) rispetto al CNAF (Centro Nazionale dell’ INFN) che si occupa
della gestione e dello sviluppo a livello nazionale dei principali servizi informatici per
gli esperimenti fatti al CERN con LHC e costituisce il centro di calcolo più rilevante
dell’INFN nonché uno dei centri di calcolo distribuito più importanti d’Italia.
La possibilità di realizzare un sistema distribuito dipende strettamente dalla
disponibilità di una rete efficiente ed affidabile. Il progetto GARR-X la Next
Generation Network nazionale è la nuova rete in fibra ottica dedicata alla comunità
italiana per l’Università e la Ricerca, è stata inserita nella Roadmap italiana delle
Infrastrutture di Ricerca, che ha lo scopo primario di progettare, implementare e
operare una infrastruttura di rete atta a fornire alla comunità scientifica ed accademica
italiana gli strumenti di comunicazione idonei allo svolgimento delle proprie attività
istituzionali di ricerca.
L'esigenze infrastrutturali nell'area di calcolo riguardano la potenza elaborativa e lo
storage e per questo si prevede l'acquisizione delle seguenti risorse da distribuire sulle
sedi del progetto:
Pagina 8 di102
UNINA
INFN-NA
UNIBA
INFN-BA
INFN-CT
INFN-CS
TOTALI
Potenza
Storage
elaborative
(PByte)
(kHepSpec)
6
2
10
3
7
5
33
0,8
0,3
2,5
0,5
0,8
0,6
5,5
Tabella 1:Distrtibuzione delle risorse di calcolo e storage
Il kHepSpec, una unità particolarmente usata in ambito fisico, corrisponde alla
potenza di circa 50 unità di calcolo “core” (al dicembre 2011).
Il fine primo di tale infrastruttura è l'analisi dati per l'esperimento SuperB dell' INFN,
un progetto bandiera nazionale già approvato, la cui costruzione avverrà nel campus
Tor Vergata nei dintorni di Roma.
Figura3: Campus Tor Vergata sede acceleratore SuperB
Pagina 9 di102
2.2 Il progetto bandiera SuperB
Il progetto bandiera SuperB una è in collaborazione internazionale che ha come
obbiettivo la costruzione di un nuovo acceleratore di particelle e di un complesso
apparato sperimentale per studiare le particelle.
Figura3: Acceleratore di particelle
Un acceleratore di particelle a base Italiana: è il progetto SuperB
promosso
dall'INFN, diventato dal 2010 uno dei “Progetti Bandiera” dell'Italia.
Il nuovo acceleratore non avrà le dimensioni gigantesche del LHC e lavorerà ad
energie molto più basse.
Ma SuperB non vuole sfidare l'acceleratore di Ginevra, gli esperimenti portati in
avanti nelle due macchine, infatti, puntano a consolidare e sviluppare le conoscenze
sulla fisica in modo diverso: il primo aumenterà l'intensità delle collisioni tra le
Pagina 10 di102
particelle, mentre il secondo punta sull'incremento dell'energia a cui avvengono le
collisioni.
Se LHC, l'acceleratore del CERN, fa collidere protoni e antiprotoni, SuperB,
l'acceleratore da costruire, farà collidere elettroni e positoni, realizzando una
complementarietà tra i due.
Il nuovo acceleratore sarà infatti un collisionatore e+e‐ di tipo “asimmetrico”, perché i
fasci di elettroni e positroni che collidono avranno energie diverse e sarà basato su
idee sviluppate in Italia e sperimentate dalla divisione acceleratori dei Laboratori
Nazionali di Frascati dell’INFN. Sfruttando nuove tecniche di produzione di fasci di
particelle ultradensi insieme ad un’inedita configurazione per la regione di
interazione, l’acceleratore di SuperB moltiplicherà di 100 volte il numero di collisioni
prodotte nella stessa unità di tempo, rispetto al limite attuale. In questo modo, sarà
possibile studiare processi estremamente rari di decadimento di particelle già note ed
evidenziare effetti non previsti dalle teorie attuali.
SuperB sarà in grado di migliorare la conoscenza delle leggi fisiche che descrivono il
comportamento dalla natura alle alte energie e fornire misure complementari a quelle
che saranno fatte al CERN con LHC.
SuperB si propone tra le maggiori realtà scientifiche mondiali per lo studio della
Fisica e la ricerca della nuova Fisica oltre al modello standard con l'ambizioso
obiettivo di allargare gli attuali orizzonti scientifici e dare risposte a importanti
questioni di fisica fondamentale.
2.3 Il computing in SuperB
L'esperimento SuperB darà vita ad un laboratorio internazionale di eccellenza
mondiale, qualificante per il nostro paese.
Sia la fase di progettazione che effettiva attività scientifica dell'esperimento SuperB,
richiedono una grande capacità di calcolo e storage dei dati, inizialmente per simulare
progettare e definire i parametri dell'apparato sperimentale, ed in seguito per
Pagina 11 di102
immagazzinare tutte le informazioni relative agli eventi e per eseguire l'analisi fisica
dei risultati prodotti dalle collisioni.
Il computing model, i requisiti e le necessità previste per il calcolo di SuperB, hanno
come punto di partenza le esperienze di successo degli esperimenti BABAR negli
Stati Uniti e Belle in Giappone, che hanno portato a termine il loro programma
scientifico su delle flavor factory con parametro di luminosità pari a L = 1034 cm‐2s‐
1. Il nuovo acceleratore dovrà lavorare 100 volte al di sopra, ad una luminosità di L =
1036cm‐2s‐1 , con un flusso di dati comparabile a quello prodotto dagli esperimenti
ATLAS e CMS al CERN di Ginevra.
Ad oggi le stime simulate prevedono per ogni anno di attività alla luminosità
nominale una richiesta di risorse computazionali due volte superiore ai requisiti degli
attuali esperimenti che si svolgono al CERN. Si calcola che occorreranno un totale di
oltre 50 PB annui per il data storage ed un totale di 1700 KHep‐Spec06 di potenza
computazionale (circa 100.000 degli attuali CPU‐core) per svolgere tutte le attività di
ricostruzione eventi, data skimming, simulazione e analisi fisica.
I progressi nel computer industry, la disponibilità di risorse tramite lo sviluppo delle
GRID e i nuovi servizi Cloud, sono i presupposti che rendono approcciabile tale
impresa. Tuttavia visti i numeri in gioco è richiesto necessariamente uno sforzo
congiunto e coordinato di diversi attori della ricerca e del mondo delle imprese.
In queste attività le strutture INFN del Sud, l’Università Federico II e l’Università di
Bari, hanno partecipato nella fase di proposta del progetto SuperB presso il MIUR, e
per la scrittura del Technical Design Report. Attualmente sono impegnate nello studio
di R&D per il computing model fornendo in best effort servizi per la simulazione del
detector e dell’analisi dati.
La crescita della Griglia del Sud, della sua infrastruttura e dei servizi offerti, unito al
coinvolgimento tra enti pubblici ed imprese, rappresenta oggi una opportunità unica e
concreta per la crescita della competitività scientifica e tecnologica nel Mezzogiorno e
per creare un polo d’eccellenza sul computing a supporto di uno dei progetti bandiera
del nostro paese.
Pagina 12 di102
2.4 Centri di calcolo distribuito Tier0/Tier1
Tutti i centri di calcolo distribuiti su territorio nazionale andranno a formare il futuro
TIER distribuito e saranno collegati in modo efficiente grazie alle reti digitali di
ultimissima generazione.
I centri di calcolo sono organizzati in un modello gerarchico “multi-tier”.Tier-n è il
termine che indica il centro di calcolo che si pone al livello n-esimo all’interno della
gerarchia. Il termine “Griglia” ha lo scopo di denotare un’infrastruttura di calcolo
distribuito su scala geografica, essenzialmente orientata alle sperimentazioni
scientifiche e ingegneristiche.
Il modello gerarchico di calcolo per l'esperimento SuperB è a Multi-Tier e prevede
l'analisi dati attraverso classe Tier0/Tier1:
• Il Tier0 verrà costruito a Roma più precisamente a Tor Vergata, in esso avviene la
produzione dei dati da inviare ai Tiers di livello inferiore. Viene eseguita una prima
fase di calibrazione e poi verranno elaborati i raw date (dati grezzi). Successivamente
l'output ricostruito viene inviato ai Tier1.
• Il Tier1 di livello nazionale o internazionale verrà dislocato tra le varie regioni
(Napoli, Catania, Cosenza e Bari), effettua un'analisi e parte della ricostruzione e dove
verranno puliti i dati grezzi.
Figura 4: Connessione logica tra i centri calcolo distribuiti
Pagina 13 di102
Ogni Tier mantiene una copia dei dati che ha elaborato in modo da usarli come
esempio per le prossime elaborazioni e per fare in modo che il livello successivo
possa recuperarli se necessario.
Avere un data center distributo in varie sedi dislogate geograficamente comporta
avere una infrastruttura di rete esterna che permetta la comunizione tra le sedi in
modo da non far percepire la dislocazione fisica dei data center, ciò sarà possibile
grazie ad connessione geografica ad alte prestazioni fornita dal consorzio GARR con
la nuova rete metropolitana GARR-X a 10Gbps.
Figura 5: Connessione fisica tra i centri di calcolo distribuiti
2.5 La nuova rete metropolitana GARR-X
La rete GARR è diffusa in modo capillare su tutto il territorio nazionale e si basa sulle
più avanzate tecnologie ottiche di trasporto, che rendono possibile un pieno supporto
ad applicazioni innovative quali grid, telemedicina, e-learning, multimedia, fisica
delle alte energie, radioastronomia.
È collegata con tutte le reti della ricerca europee e mondiali, permette a docenti,
studenti e ricercatori di comunicare e collaborare con i colleghi di tutto il mondo in
Pagina 14 di102
modo affidabile ed efficiente attraverso servizi di rete avanzati ed indipendenti dalla
collocazione geografica.
L’attuale infrastruttura di rete GARR denominata GARR-G (GARR-Giganet),
dedicata alla Comunità Italiana delle Università e della Ricerca, è entrata in funzione
alla fine del 2003, ma l'attuale connettività che viene sfruttata nelle strutture è 1‐
2Gbit/s non più sufficiente per coprire le esigenze delle applicazioni e dei protocolli
di data management geografico ed è tecnologicamente vecchia e poco scalabile.
Figura 6: Rete GARR-G nata il 2003
La rete di nuova generazione GARR-X sta gradualmente sostituendo la precedente
infrastruttura, fornendo maggiori prestazioni e nuovi servizi.
Alla fine del 2012 sarà possibile raggiungere la piena potenzialità della nuova
infrastruttura di rete GARR-X, con circuiti ottici multipli a 10, 40 e 100 GigaEthernet
e rispondere efficacemente alle esigenze di tutta la comunità scientifica, accademica e
culturale del paese, garantendo la massima scalabilità e flessibilità del modello, in
Pagina 15 di102
grado di adeguarsi alle possibili evoluzioni in termini di flussi di traffico, di
incremento di banda e di richiesta di nuovi servizi di rete. Il livello network WAN
dell'attuale Data Center sarà implementato mettendo in opera tutte le tecnologie
necessarie per agganciarsi alla rete GARR‐X, sfruttando l’importante know‐how
presente sulle tecnologie di rete geografica.
Figura 7: Rete GARR-X che nascerà fine 2012 e sostituirà la rete GARR-G
Il presente rafforzamento infrastrutturale consentirà di colmare le gravi lacune sul
versante rete, visto che nel resto d’Europa molti paesi sono già passati a connessioni
geografiche a 10Gbit/s, la mancanza al Sud di tali infrastrutture rappresenta un freno
per la valorizzazione dei laboratori e strutture e un limite alla competitività come poli
di attrazione per l’erogazione di sevizi di rete su scala nazionale e Globale.
Pagina 16 di102
Una connettività allo stato dell’arte costituisce il primo collante verso la costruzione
di una facility di calcolo distribuita ma unitaria, rappresenta elemento qualificante e
realmente abilitante alla creazione di servizi di rete (computing e data management)
competitivi e perciò strategico per valorizzare i laboratori e le strutture.
Il livello rete così implementato, consentirà ai partner di creare servizi di GRID e
Cloud computing avanzanti, totalmente indipendenti dalla locazione fisica e
geografica sfruttando i paradigmi della virtualizzazione, servizi di provisioning,
tecnologie di data management distribuito per facilitare l’accesso ai dati da parte della
collaborazione scientifica di SuperB.
2.6 Obiettivi Generali: Progetto dettagliato per la sede di
Napoli
A Napoli le infrastrutture del presente PON saranno dislocate nel complesso di
Monte S. Angelo.
Figura 8: Complesso Universitario Monte Sant'Angelo
Pagina 17 di102
Con un precedente progetto (SCOPE, PON 2000-2006) è stata realizzata
l'impiantistica di base, ovvero cabina elettrica, gruppo elettrogeno, gruppi di
continuità, che ora servono due i Data Center, uno UniNa (SCOPE) ed uno INFN
(ATLAS). Il primo Data Center composto da 33 rack, di cui 12 dedicati ad ATLAS,
per cui il Tier2 di ATLAS risulta distribuito tra i due Data Center. Il secondo Data
Center INFN, consta oggi di soli 4 armadi rack.
I due Data Center sono estremamente vicini, ed è stata già realizzata una capillare rete
in fibra che connette il PoP del GARR ai Data Center dell’università e dell’INFN; tale
rete è già dimensionata per tutto il traffico necessario a SuperB nei prossimi 10 anni,
essendo state stese 10 fibre su tutte le possibili tratte, con magliatura quasi totale.
Figura 9: Collegamenti infrastrutturali Monte Sant'Angelo
Dei 33 rack del Data Center SCOPE, 13 risultano predisposti ma sono ancora vuoti.
Pertanto l'obiettivo per il 2013 è di completare le attrezzature nel Data Center UniNa e
di ampliare il Data Center INFN, portandolo a 12 rack, per un totale di 45 rack. Nel
complesso, avremo 12 rack per usi general purpose, 20 rack per uso SuperB, 13 rack
per uso ATLAS.
Pagina 18 di102
3 Progettazione di una nuova rete presso il Data Center
UniNa
3.1 Progetto dettagliato del Data Center Scope
Il Data Center S.Co.P.E. è situato tra gli edifici di Fisica e Biologia in uno spazio dalle
dimensioni ridotte, circa 120 mq, ma dalle grande capacità, in quanto in grado di
ospitare 33 armadi (rack) per un totale di circa 1000 apparati calcolo.
La sala CED è equipaggiata con un sistema di sensori, per la maggior parte interni ai
rack. La soluzione rack integra un sistema di controllo e regolazione della temperatura
interna a cui aggiungiamo il controllo dell’alimentazione elettrica e quello ambientale
del rack, il tutto nello spazio di un armadio. Inoltre, la concentrazione di sistemi
permette una migliore gestione dell’infrastruttura, del suo cablaggio e degli apparati
di controllo e monitoraggio.
L'infrastruttura del Data Center caratterizzata da 33 “server rack” 19' predisposti a
contenere gli apparati per il supercalcolo distribuito.
•
Armadi a rack da 1 a 12 – Spazio dedicato al progetto S.Co.P.E.
•
Armadi a rack da 13 a 25 – Spazio destinato al nuovo progetto SuperB
(attualmente vuoti).
•
Armadi a rack da 26 a 33 – Spazio dedicato al progetto ATLAS.
Pagina 19 di102
Figura 10: Planimetria DataCenter UniNa.
Con la realizzazione del centro di calcolo di tipo Tier1, per il progetto SuperB, il Data
Center UniNa verrebbe riorganizzato ed ammodernato per le nuove esigenze, con
tecnologie all'avanguardia, riempendo i rack attualmente vuoti.
3.2 Quadro generale
3.2.1 Power
Una delle operazioni fondamentali per ottenere un’elevata efficienza energetica del
centro di calcolo è la stima dei consumi delle apparecchiature che lo compongono. In
una normale sala CED, circa la metà dell’energia elettrica utilizzata viene assorbita
dai carichi IT. L’altra metà della spesa per il consumo di energia elettrica è costituita
dall’acquisto di elettricità destinata a far funzionare il sistema di alimentazione, di
raffreddamento e quello di illuminazione. La componente all’interno delle
apparecchiature IT che richiede la maggiore potenza è la CPU.
Pagina 20 di102
Figura 11: Flusso elettrico tipico
Una parte delle attività di pianificazione e progettazione dei data center è costituita
dall'adeguamento
dei
requisiti
di
alimentazione
e
raffreddamento
delle
apparecchiature IT alla capacità delle apparecchiature dell'infrastruttura. In questo
documento si espongono dei metodi per il calcolo dei requisiti di alimentazione e
raffreddamento e si forniscono indicazioni per la determinazione della capacità
Il sistema di alimentazione di un Data Center deve garantire la disponibilità
permanente delle infrastrutture IT, quindi è indispensabile avere un sistema di
alimentazione affidabile, espandibile e capace di alimentare appacchiature IT sempre
più potenti e complesse senza creare interruzioni del funzionamento del Data Center.
Il Data Center UniNa viene alimentato da una cabina elettrica dedicata da 1 MWatt
posta all'esterno della sala, dove è situato un gruppo elettrogeno che alimenta il CED
in caso di mancanza di energia attraverso un serbatoio di 6000 litri di gasolio.
La cabina è in grado di fornire energia a sufficienza per alimentare due UPS da 400
KW (Gruppo di continuità) chiamati UPS A, UPS B ed un terzo gruppo da 250 KW.
Pagina 21 di102
Figura 12: Cabina Elettrica nata con il progetto S.Co.Pe.
Figura 13: Struttura interna della Cabina Elettrica.
Pagina 22 di102
I due UPS a loro volta, ripartono corrente a 6 armadi di alimentazione secondaria
PDR, ognuno dei quali alimenterà una sola parte dei rack che si ritrovano all'interno
della sala.
Figura 14: Impianto elettrico realizzato all'interno del DataCenter UniNa
Figura 15: Planimetria DataCenter UniNa completa di quadri elettrici e armadi di distribuzione
All'interno della sala sono presenti due quadri elettrici, un quadro elettrico identificato
come “Q.SM.UPS A/B” per l’alimentazione dei sei quadri di distribuzione elettrica
dei rack “Q.PDR” e delle utenze di servizio, centrale antincendio, centrale video
sorveglianza, terminali controllo accessi ecc., l'altro
quadro elettrico identificato
come “Q.CDZ”, per l’alimentazione delle utenze al servizio del sistema di
raffreddamento.
Pagina 23 di102
Il PDR (Power Distribution Rack), riceve alimentazione dal quadro generale,
attraverso i moduli PDM (Power Distribution Modul) con cavi preconnettorizzati con
spine normate che vanno ad alimentare le 2 barre di alimentazione modulari PSM
(Power System Modul).
Figura 16: Sistema di distribuzione corrente
Il PDR è completamente protetto dai contatti accidentali, è predisposto per 8 uscite
con connettore per 4 poli, certificato per l'accettazione HOT SWAPPAPLE (a caldo)
di max 8 moduli di sub-distribuzione PDM (Power Distribution Module),
consentendo l'UPGRADE per la distribuzione secondaria fino a 250 A per fase “a
caldo”, ovvero senza togliere alimentazione agli apparati in esercizio.
Il sistema di PSM è l'ultimo elemento per la distribuzione di corrente all’interno degli
armadi. E’costituito da una barra di alimentazione completamente protetta dai contatti
accidentali, che viene montata all’interno degli armadi rack ed è studiata per
semplificare le operazioni di cablaggio e ridurre i costi di installazione, fornendo
alimentazione di corrente sicura e senza interruzioni.
Ciascun armadio rack è equipaggiato con due canaline PSM alimentate attraverso il
cavo di collegamento preconnettorizzato con il PDM. L'alimentazione interna ai rack
è stata realizzata in modo che il spegnimento di una canalina non reca problemi
Pagina 24 di102
all'altra e ne all'intero sistema di alimentazione, infatti le due canaline sono alimentate
da due PDR diversi.
Nel modulo sono integrati un indicatore di corrente, un indicatore di circuito e un
pulsante di sicurezza termico.
Con il progetto SuperB, si prevede il potenziamento della cabina elettrica presente,
con n.1 UPS da 400 KVA, e n.1 trasformatore da 1 MW.
L’impianto elettrico, interno alla sala, è stato progettato secondo criteri modulari di
ampliamento del servizio, infatti è possibile appliare il servizio elettrico aggiungendo
dei moduli di distribuzioni all'interno degli armadi PDR attualmente ancora semivuoti
e per ogni rack attualmente vuoti, dovranno essere aggiunte le presiere intelligenti
PSM sia sul lato sinistro che destro del rack.
3.2.2 Refrigeratori: Raffreddamento a liquido
La sempre più alta densità dei sistemi di calcolo e l'inarrestabile aumento delle
prestazioni dei processori determinano nei Data Center uno sviluppo di calore
eccessivo in spazi ristretti.
L'uso di rack auto-condizionati permette di semplificare il sistema di condizionamento
ambientale per la sala calcolo, inserendo solo la realizzazione di apposite
canalizzazioni per il trasporto dell'acqua fredda in ingresso ai rack e di acqua "calda"
in uscita.
Per il raffreddamento si è pertanto scelto un nuovo approccio tramite l'impiego di
scambiatori di calore aria/acqua incorporati nella parete laterale di ogni armadio. La
soluzione, configurata esternamente come pannello laterale intercambiabile, assicura
un raffreddamento uniforme tramite aria fredda soffiata orizzontalmente ai lati
dell'armadio che va a lambire le apparecchiature installate.
Pagina 25 di102
L'aria calda è soffiata in senso orizzontale nell'armadio direttamente davanti a
ciascuna batteria di server, creando condizioni di temperatura uniformi sia nella parte
superiore che inferiore dell'armadio.
Figura 17: Sistema di raffreddamento orizzontale
Tale sistema di raffreddamento consiste in unità alte 42U che si affiancano i rack,
alternandosi agli stessi, in modo che ogni unità raffreddi sia il rack di destra sia il rack
di sinistra, come il disegno che segue.
Figura 18: LCP ingrado di raffreddare sia il rack a destra che a sinistra
Nella colonna possono essere montati un massimo tre moduli indipendenti tra loro, da
4 KW per un totale di 12 KW di potenza refrigerante. Le performance del sistema
LCP nominali di 12 KW possono raggiunre valori effettivi di 20KW di capacità
refrigerante attraverso l'aumento della velocità del fluido.
Pagina 26 di102
La configurazione con scambiatori di calore integrati nella parete laterale non sottrae
spazio all'interno dell'armadio, ma ne aumenta il volume occupato.
Per l'alimentazione del mezzo frigorigeno, sul pannello laterale dello scambiatore di
calore è prevista una connessione per un chiller di potenza adeguata, che nel nostro
caso è da 660 KW, duplicato per ridondanza.
Il circuito del mezzo frigorigeno è collegato tramite giunti a chiusura rapida. Un
sistema intelligente di gestione della condensa è incorporato all'interno.
Il circuito frigorigeno ermetico assicura anche il funzionamento corretto del sistema
in locali caldi. Quindi è possibile ottenere la massima potenza frigorifera nei Data
Center, dotati di gestione e controllo dalla climatizzazione, senza aver effetto sulla
temperatura ambiente.
La realizzazione garantisce accessibilità completa l'apparecchiatura interna, sicurezza
di investimento grazie alla scalabilità degli elementi, espandibilità in caso di richiesta
di maggiore potenza e controllo distanza.
L' attuale sistema di raffreddamento risulta espandibile e può essere esteso senza
fermo impianti, infatti per ora non subirà cambiamenti perchè tutti gli armadi
predisposti nel DataCenter, compresi quelli vuoti, già sono dodati di sistema di
raffreddamento LCP, almeno parzialmente (1 LCP per rack), pertanto andranno solo
acquistati altri 24 LCP, senza cambiamenti all'impianto.
Figura 19: Planimetria S.Co.P.E. completo di sistema di raffreddamento
Pagina 27 di102
3.2.3 Network
Per quanto riguarda la realizzazione di interconnessioni di rete, da realizzare per la
messa in opera di un centro di calcolo, i principali requisiti di base della progettazione
che vanno considerati sono:
– L'uso di soluzioni innovativie ad altissime prestazioni e totalmente
scalabili.
– L'efficiente integrazione geografica con altre infrastrutture di calcolo e
griglie computazionali esistenti worldwide.
– La massima affidabilità e dove possibile la totale resistenza e tolleranza ai
guasti, realizzata attraverso la duplicazione degli apparati e di tutti i
collegamenti in rete.
– Le garanzie di adeguata sicurezza e privatezza per gli host serviti
dall'infrastruttura e per le applicazioni che girano su di essi.
– La piena integrazione fra tecnologie di connettività eterogenee per ottenere
un sistema di rete unificato che garantisca la piena armonizzazione fra le
componenti connesse.
– L'apertura verso applicazioni future, assicurando l'investimento e la validità
tecnologica nel tempo dell'infrastrutture di rete realizzate.
– Il pieno rispetto degli standard internazionali sia per i protocolli di rete
impegati che per le infrastrutture passive.
– Disponibilità
di
interconnessioni
eterogenee
per
garantire
il
soddisfaciamento dei requisiti di connettività di tutte le applicazioni
operanti nelle griglie di calcolo.
– L'uso di collegamenti multipli ridondati sia per gli host che fra le switching
fabrics garantirà simultaneamente un notevole grado di affidabilità e
prestazioni di altissimo livello, attraverso tecniche di bilanciamento di
carico.
Pagina 28 di102
– La conformità al nuovo standard TIA/EIA-942 “Telecommunication
Infrastructure Standard for Data Center”.
Il gruppo TIA TR-42.1.1 ha l'obiettivo di sviluppare lo "Standard per
l'infrastruttura di telecomunicazioni per i Data Center Internet". Questo
gruppo copre le tipologie e le prestazioni del cablaggio in rame e fibra, oltre
agli aspetti dell'infrastruttura IT che consente a tali realizzazioni di
implementare con facilità le nuove tecnologie quali le reti 10 Gb/s.
Recentemente TIA/EIA ha ufficializzato il documento TIA/EIA-942
"Standard per l'infrastruttura di telecomunicazioni per i Data Center", che
considera i requisiti di flessibilità di scalabilità, di affidabilità e di gestione
degli spazi.
Gli enti normativi NEC (National Electric Code), nell'articolo 645
"Information Technology Equipment" e la NFPA (National Fire Protection
Association), nel documento NFPA-75 "Standard per la protezione
dell'Information Technology" hanno trattato questi importanti argomenti.
Questi standard definiscono le linee guida, con elementi specifici di
progettazione che varieranno per ciascun data center e per gli apparati in
esso contenuti. Gli elementi da considerare come applicabili per ciascun
data center sono i seguenti.
– Conformità allo standard IEEE 802.3ba sulle tecnologie 40Gb e 100Gb
Ethernet .
IEEE Standard Association ha varato la 802.3ba Standard IEEE che porta a
40 Gb e 100 Gb la velocità Ethernet, insieme alla IEEE Standards
Association è una taskforce che lavora sulle velocità Ethernet sempre più
elevate. La ratifica dell'IEEE 802.3ba dopo quattro anni di lavoro fissa lo
strato fisico da utilizzare per la comunicazione, ovvero, i mezzi utilizzabili
per il cablaggio che sono: il rame, la fibra monodale e multimodale.
La standardizzazione di velocità sempre più elevate hanno risvolti molto
importanti per l'affermazione e distribuzione delle tecnologie precedenti,
infatti, si è visto che 10Gbps è stato introdotto come dorsale per gli
Pagina 29 di102
ambienti che hanno implementato 1 Gbps al (alla parte) server, si prevede
lo stesso percorso per il 10Gbps ed i 40GbE.
L'uso di elevate velocità per quanto riguarda la parte server, si prevede che
la prossima generaziane di server implerà un cablaggio sempre più
convergente tra rete e rete storage(iSCI, FcoE) e si vedrà un utilizzo più
spinto
della
virtualizzazione
potento
utilizzare
schede
10Gbps,
interconnessione a 40Gbps e backdone 100Gbps.
I cablaggi e le interconnessioni sono fondamenta su chi poggia un intero
DataCenter. La scelta preserva nel tempo gli investimenti, considerando
quindi che la ratifica dei 40 Gbps e 100 Gbps prevede un opzione in rame
fino ai 7 metri, fibra ottica monomodale fino a 100 metri e multimodale
fino a 10 km fa ovviamente protendere pverso un cablaggio interamente in
fibra che mostra una maggiore stabilità di connessione nell'evoluzione della
velocità.
L'attuale infrastruttura di rete, presente nel Data Center, prevede una organizzazione
gerarchica, indicato col nome “multi-Tier”.
L'architettura del progetto S.Co.P.E. è contraddistinta da 4 tipologie di connessione:
1. Connessione Infiniband: una serie di interconnessioni privilegiate per un
numero limitato di host ad elevate prestazioni dedicati ad applicazioni di grid
computing caratterizzate da requisiti funzionali e prestazionali che prevedono
una combinazione di banda larga a bassa latenza.
2. Rete ethernet tra i nodi di calcolo con l'interfacciamento tra Infiniband e Fibre
Channel
3. Connessione Fibre Channel: connessione diretta e dedicata ad alta velocità tra
alcuni server e gli apparati di storage.
4. Connessione geografica mediante la connessione ethernet
Pagina 30 di102
Con la realizzazione del progetto SuperB all'interno del DataCenter Unina si andrà a
realizzare un'ulteriore infrastruttura di rete, non più basata su una tecnologia MultiTier ma su una nuova tecnologia Converd-Core.
Questa architettura prevede due switch identici da cui partono cavi in fibra in ogni
armadio, dove in esso non vi è uno switch locale ma una parte remotizzata dallo
switch centrale. Questo vuol dire un’unica matrice di switching in ogni sede,
ridondata, tutta ad almeno a 40 Gb/sec, e probabilmente a 100 GbE ed un unico
protocollo, Ethernet, anche a bassa latenza (DCB). Questa nuova tecnologia può
interfacciarsi con le infrastrutture esistenti illustrate precedentemente.
3.2.4 Storage
Sia la fase di progettazione che l’effettiva attività scientifica dell’esperimento SuperB,
richiedono una grande capacità di calcolo e di storage dei dati, inizialmente per
simulare, progettare e definire i parametri dell’apparato sperimentale, ed in seguito
per immagazzinare tutte le informazioni relative agli eventi e per eseguire l’analisi
fisica dei risultati prodotti dalle collisioni.
L’attività relativa ai servizi di storage è molto importante perché riguarda sia la
definizione delle migliori modalità di accesso ai dati sia le prestazioni che spesso
costituiscono un collo di bottiglia e rallentano le esecuzioni dei job con la
conseguenza di diminuire significativamente l’efficienza dell’utilizzo delle risorse e
sia la possibilità di rendere disponibili spazi di archiviazione virtuali agli utenti on
demand in modo automatico.
Con il termine storage si identificano i dispositivi hardware, i supporti per la
memorizzazione, le infrastrutture ed i software dedicati alla memorizzazione non
volatile di grandi quantità di informazioni in formato elettronico.
Pagina 31 di102
Storage Farm implementa l'area di memorizzazione dei dati mediante protocollo di
accesso a blocchi di tipo iSCI attraverso la rete ethernet/IP.
Le tecnologie per la condivisione dello storage possono essere essenzialmente divise
in due categorie che hanno in comune un alto livello di affidabilità, una buona
scalabilità, e performance di alto livello.
I due modelli maggiormente utilizzati nei sistemi di storage condivisi sono:
1. Un sistema autonomo dedicato, cioè uno (o due) rack che conteranno un
sistema del tipo SAN (Storage Area Network) connesso a tutti i server
denominati SE nel linguaggio middleware gLite.
2. Un sistema distribuito, costituito da 8 dischi in ogni server.
Si prevede di realizzare un sistema con replica 3, cioè ogni dato sarà scritto 3 volte in
modo random tra le 4 sedi( Napoli, Catania, Cosenza, Bari), in modo da garantire la
sicurezza contro la perdita accidentale dei dati.
Inoltre se i dati sono replicati, le politiche di aggiornamento deve garantire che il
risultato delle operazioni sia lo stesso su tutte le copie.
3.2.5 Computing
La nuova era della fisica delle particelle, pone forte pressione sul calcolo e la
disponibilità di storage per l'analisi dei dati e la distribuzione dei dati. Il piano di
progetto SuperB è creare una nuova configurazione del cluster in grado di scalare per
i prossimi dieci anni e di trarre vantaggio dalle tecnologie di new fabric (nuovi
Pagina 32 di102
tessuti), inclusi multicore e chip grafici.
Sul lato configurazione cluster per Tier1, si propone di integrare storage e risorse di
calcolo attraverso un mix di soluzioni ad alta densità di storage, file system cluster e
rete 10Gbit/s. L'idea principale è superare il collo di bottiglia dovuta al storagecomputing attraverso un modello di disaccoppiamento scalare composto da nodi con
nucleo ad alta densità e dischi in configurazione JBOD.
L’intera collaborazione oggi mette a disposizione per la comunità scientifica un
potenziale di decine di migliaia di CPU e risorse pregiate su base multi-core, con
interconnessioni infiniband e a 10Gbit/s in grado di ospitare sia applicazioni high
throughput che applicazioni HPC (High Performance Computing) con codici paralleli
e nuclei computazionali fortemente accoppiati.
Nell’ambito di GRISU sono presenti tutte le condizioni hardware e software
necessarie per affrontare le tematiche di calcolo parallelo.
Oltre alle imponenti installazioni di infiniband e di macchine parallele avanzate, sono
supportate tutte le principali librerie di calcolo parallelo, provate e ottimizzate su
diversi tipi di hardware di interconnessione e di compilatori, il supporto avanzato per i
codici che fanno uso interno del parallelismo. Su questa base è stato effettuato il
porting di numerosi codici su GRID e sono stati sviluppati moduli di interfacciamento
tra il mondo Grid e il mondo HPC.
Per HPC (High Performance Computing) si intende una tipologia di clustering che
permette l'esecuzione distribuita di processi sui nodi del cluster. Lo scopo di un
cluster è quello di distribuire una elaborazione molto complessa tra i vari computer.
In sostanza un problema che richiede molte elaborazioni, per essere risolto, viene
scomposto in sotto-problemi separati i quali vengono risolti in parallelo. Questo
ovviamente aumenta la potenza di calcolo del sistema. I processi dialogano fra di loro
implementando anche il parallelismo.
Le attrezzature di calcolo possono essere di tipi diversi di server:
 Multi-core: usata per descrivere una CPU che può essere composta da due a
sedici CPU su un chip;
Pagina 33 di102
Multicore cerca di aumentare la velocità di esecuzione dei programmi
sequenziali attraverso l'uso dei diversi core presenti, oltre a garantire maggiori
prestazioni in ambiti molto specifici dove più che un'alta potenza di calcolo è
richiesto un grande parallelismo. CPU multicore è ottimizzata rispetto alle
prestazioni durante l'esecuzione di codice sequenziale.
Si fa uso di una sofisticata logica di controllo per permettere che istruzioni
provenienti da un singolo thread di esecuzione vengano eseguite in parallelo o
anche in un ordine sequenziale diverso (out-of-order), mantenendo la logica di
una esecuzione sequenziale.
L'uso di memorie cache grandi riduce la latenza nell'accesso ai dati e alle
istruzioni, ma il vantaggio prestazionale decresce all’aumentare delle
dimensioni.
Figura 20: Sistema di calcolo Multi-tier
Nel Data Center Scope già sono in uso nodi di calcolo multi-core.
 Many-core: Centinaia di CPU(almeno 48) su un chip.
La linea di progettazione many-core è volta all'esecuzione di applicazioni
parallele.
Pagina 34 di102
Questa architettura risulta efficace su programmi paralleli di tipo MIMD
(Multiple Instruction Multiple Data) e SIMD (Single instruction, multiple
data).
 Many-core a memoria distribuita
I processori hanno la propria memoria locale che non è indirizzata o accessibile
dalle altre unità.
Ogni processori opera indipendentemente. Le modifiche della memoria locale
non ha un effetto sulla memoria di altri processori. Se un processore deve aver
accesso ai dati di un' altra unità, il programmatore deve definire esplicitamente
quando e come i dati sono scambiati.
Incrementando il numero di processori la grandezza della memoria aumenta
proporzionalmente.
Figura 21: Sistema di calcolo many core a memoria distribuita
Pagina 35 di102
 Many-core a memoria condivisa
Tutti i core hanno accesso a tutta la memoria vista come uno spazio di
indirizzamento globale.
La condivisione dei dati fra i processi è sia veloce e uniforme data la
prossimita della memoria CPU.
All'aumentare del numero di core aumenta geometricamente il traffico tra
memoria e core.
Il design e la produzione dei calcolatori paralleli con modello a memoria
condivisa è sempre difficile e costoso con l'aumento del numero di processori.
Figura 22: Sistema di calcolo many core a memoria condivisa
 Many-core GPU chip grafici che hanno larghezza di banda 10 volte più
grande rispetto a quella disponibile sui chip per CPU.
Pagina 36 di102
La difficoltà nell'aumentare la banda per le CPU è dovuta alle limitazioni
poste dai sistemi operativi, dalle applicazioni e dai sistemi di I/O, al
contrario i progettisti di GPU possono raggiungere una maggiore larghezza
di banda grazie alle minori limitazioni ereditate (legacy) e a modelli di
memoria più semplici.
La maggior parte dei calcoli eseguiti dalle GPU a shader unificati sono del
tipo SIMD (Single Instruction Multiple Data), ovvero una singola operazione
può essere eseguita su più dati contemporaneamente. Una GPU è molto più
veloce di una CPU nell’esecuzione di questi compiti.
Per poter funzionare efficacemente su una GPU i calcoli da eseguire devono
poter essere scomposti in una serie di operazioni “parallelizzabili”, ossia da
eseguire in parallelo. Questo significa che non tutti i tipi di operazioni si
prestano al GPU Computing. E comunque l’efficacia di esecuzione dipenderà
dal livello di esecuzione parallela ottenibile.
Figura 23: Sistema di calcolo many core GPU
Pagina 37 di102
CPU e GPU sono adatte ad eseguire compiti diversi e non danno buone prestazioni se
utilizzate per compiti diversi da quelli che sanno fare.
Molte applicazioni hanno bisogno sia di buone CPU che di GPU, in modo da eseguire
le parti sequenziali sulle CPU e parti di calcolo numerico intensivo su GPU.
Le esigenze infrastrutturali nell’area del calcolo riguardano sia gli esperimenti sia i
servizi di ciascuna sede, ma in modo principale e prevalente SuperB, anche se la fase
di “commissioning”, nel 2014, potrà essere fatta su esperimenti di LHC.
Server Farm attualmente disponibili sul mercato
Nodi di Calcolo basati su Sistemi Blade
Fisicamente basati su Sistemi Blade e nodi dual‐socket, con architettura INTEL
Nehalem. Ogni nodo è dotato di 8 GB di RAM per core fisico con un minimo di
128GB di RAM, e “dialoga” verso l’esterno (DC LAN e Storage) mediante 6
interfacce di rete 10GbEth “converged” delle quali:
N.2 Porte a 10Gbps (passthrough) saranno direttamente connesse al centro stella in
direct‐attach
Pagina 38 di102
N.2 Porte a 10Gbps saranno connesse al centro stella in topologia core‐edge, i cui
edge sono costituiti dai fabric Switch presenti all’interno degli chassis.
L’interconnessione tra i core e gli edge è realizzata con un oversubscription ratio di
1:2 (8 link a 10Gbps per chassis)
N.2 Porte a 10Gbps (passthrough) non saranno connesse ma saranno comunque
presenti a bordo dei sistemi sistema per ulteriori future espansioni in connessione
pass‐through verso gli switch Ethernet di centro stella.
Si noti che sui nodi è possibile eseguire i più diffusi SW di virtualizzazione: ciò
permette di impiegare l’infrastruttura di calcolo anche per scopi differenti dal mero
calcolo ad alte prestazioni.
Nodi di Calcolo basati su sistemi Modulari ad Alta Densità
Fisicamente basati su Sistemi Modulari ad alta densità cadauno dotato di 2 lame a 4
CPU INTEL Nehalem e 6 GB di RAM per core fisico. Ogni lama “dialoga” verso
l’esterno (DC LAN e Storage) mediante 2 interfacce di rete 10GbEth direttamente
connesse verso gli switch Ethernet di centro stella. Si noti che sui nodi è possibile
eseguire i più diffusi SW di virtualizzazione: ciò permette di impiegare l’infrastruttura
di calcolo anche per scopi differenti dal mero calcolo ad alte prestazioni.
Pagina 39 di102
Nodi di Calcolo Ibridi (Storage Servers)
Fisicamente basati su Sistemi quad‐socket, con architettura INTEL Nehalem e 16
HDD da 3TB cadauno, per uno spazio totale disponibile di 48TB. Ogni nodo è dotato
di 6GB di RAM per core fisico con un minimo di 128 GB di RAM, e “dialoga” verso
l’esterno (DC LAN e Storage) mediante 4 interfacce di rete 10GbEth in connessione
pass‐ through verso gli switch Ethernet di centro stella. Si noti che sui nodi è possibile
eseguire i più diffusi SW di virtualizzazione: ciò permette di impiegare l’infrastruttura
di calcolo anche per scopi differenti dal mero calcolo ad alte prestazioni.
Architettura MIC (Many Integrated Core)
L'architettura MIC utilizza un alto grado di parallelismo, basso consumo di energia .Il
risultato è una maggiore prestazioni su applicazioni altamente parallele.
E' il primo chip programmabile a fornire più di un trilione di operazioni in virgola
mobile al secondo (1 teraflop) di prestazioni, pur consumando pochissima energia.
Questo progetto di ricerca si concentra sull'esplorazione di nuovi ed efficienti modelli
Pagina 40 di102
per i futuri chip multi-core, così come gli approcci di interconnettere e core-to-core di
comunicazione. Il chip implementa la ricerca 80 semplici core, ciascuno contenente
due motori programmabili in virgola mobile, il numero più elevato di essere integrato
in un singolo chip.
In termini di progettazione dei circuiti, sono più complessi rispetto ai motori intero,
che solo le istruzioni di processo.
La ricerca di Teraflops Chip implementa diverse novità per architetture multi-core:
•Rete su un chip - Oltre all'elemento calcolo, ogni nucleo contiene un 5-porta router
passaggio di messaggistica. Questi sono collegati in una rete a maglie in 2D che
implementano message-passing. Questo sistema di interconnessione in rete potrebbe
rivelarsi molto più scalabile rispetto ad oggi multi-core interconnessioni, consentendo
una migliore comunicazione tra i core e offre prestazioni del processore.
• Gestione dell'alimentazione - I singoli motori di calcolo e router dati in ciascun core
può essere attivato o disattivato sulla base delle prestazioni richieste dall'applicazione
in esecuzione. Inoltre, il nuovo circuito ha una efficienza energetica a livello
mondiale, 1 teraflops richiede solo 62W.
Pagina 41 di102
4 Architettura tecnologica proposta
4.1 Tecnologia prese in esame
Il moderno Data Center ha subito una serie di cambiamenti che hanno notevole
impatto sulle operazioni aziendali.
Le applicazioni si sono evolute da client-server a SOA Services Oriented
Architecture-Based. Un'applicazione è implemantata come una serie di componenti
connesse distribuite su più server in esecuzione con distribuzione del carico di lavoro.
La virtualizzazione su dei server ottimizza l'utilizzo del server e permette elasticità ed
agilità.
La dimensione dei dati processati e memorizzati sono in costante crescita. Il traffico
su scala dei data center e la volatilità sono in crescita in risposta a questi cambiamenti.
L'architettura legacy dei Data Center è stata contrastata significativamente con la
rivoluzionaria Juniper Network Data Center, sostituendo una struttura multi-tier con
una converged-core.
Figura24: Architettura legacy Data Center
Pagina 42 di102
Figura 25:Architettura QFX3000
L'architettura di rete Juniper QFX offre una struttura di rete semplificata capace di
risolvere problemi complessi che potrebbero essere affrontati oggi o in un domani nei
Data Center. La QFX3000 implementa nel data center una rete a livello singolo,
consentendo miglioramenti esponenziali in termini di velocità, scalabilità ed
efficienza, rimuovendo le tradizionali barriere e migliorando l'agilità delle aziende.
Questa architettura risponde ai fabbisogni dei grandi, medi e piccoli Data Center.
Lo switch Qfabric è un singolo layer di rete di primo livello che collega server e
dispositivi di storage l'uno all' altro ad alta velocità. Lo switch Qfabric può essere
visto come un unico sistema, estremamente grande, non bloccante, ad alte prestazioni
di switching Layer2 e Layer3.
Il software in esecuzione sul director del gruppo consente all'amministratore
principale dello switch Qfabric di accedere e configurare tutti i dispositivi e la porta
nel sistema Qfabric da una singola postazione. Anche se si configura il sistema come
un'unica entità, il fabric contiene quattro principali componenti hardware.
Pagina 43 di102
Figura26: Architettura hardware Switch Qfabric
I quattro componenti principali del sistema Qfabric sono seguenti :
– Director Group: è una piattaforma di gestione che si occupa del monitoraggio e
manutenzione di tutti i componenti del sistema Qfabric.
– Node Device: é un dispositivo che si connette agli endpoint (server e storage) o
reti esterne, il nodo è collegato al cuore del sistema attraverso il dispositivo
Interconnect.
– Interconnect Device: è un dispositivo che funge da fabric primario per il data
plane tra i dispositivi Node del sistema Qfabric.
– Control Plane: è un out band Ethernet dedicato alla gestione che collega tutti i
componenti del sistema Qfabric.
Pagina 44 di102
I vantaggi forniti da questa architettura di nuova generazione sono i seguenti:
– Bassa Latenza: Il sistema Qfabric fornisce una base eccellente per applicazioni
mission critical come transizioni e stock trades, così come per applicazioni
time sensitive quali voce e video.
– Scalabilità: Le componenti del sistema avanzato Qfabric possono essere gestite
come una singola entità e fornisce il supporto per migliaia di dispositivi del
Data Center. Con la crescita esponenziale del traffico dei dati, il sistema
Qfabric può tenere il passo alle richieste di larghezza di banda.
– Virtualizzazione: Il sistema Qfabric è stato progettato per funzionare con
server, applicazioni e altri distribuiti virtuali, consentendo una maggiore
scalabilità, espandibilità e rapidità di implementazione dei nuovi servizi
rispetto al passato.
Il passaggio a dispositivi virtuali comporta anche un significatico risparmio dei
costi, accompagnato da una ridotta esigenza di spazio, risparmio energetico ed
un aumento significativo della capacità elaborativa.
– Semplicità: Anche se il sistema Qfabric può scalare dino a centinaia di
dispositivi e migliaia di porte, è ancora possibile gestire il Qfabric come un
unico sistema.
– Flessibilità: Il sistema Qfabric può essere implementato come un intera sistema
o in più fasi.
Pagina 45 di102
Il fabric di rete offerto dal sistema Qfabric risulta leggero, non bloccante e senza
perdita; Grazie alla sua scalabilità e flessibilità può soddisfare le esigenze dei data
center di piccole, medie e grandi dimensioni per gli anni a venire.
Caratteristiche principali di un switch Qfabric sono:
•
Supporto per un massimo di 128 nodi e 4 dispositivi di interconnessione, che
fornisce un massimo di 6144 porte a 10 GbE.
•
Bassa latenza port-to-port.
•
Supporto per un massimo di 384K di code in ingresso per ogni nodo collegato
all'interconnect.
•
Supporto per Converged Enhanced Ethernet(CEE) del traffico.
4.2 Architettura Qfabric Juniper
4.2.1 Node-Juniper QFX3500
In un sistema Qfabric QFX3000, il dispositivo QFX3500 funziona come Node, ed è
collegato all'Interconnect QFX3008 attraverso un UpLink a 40Gbps. L'insieme dei
dispositivi Interconnect e Node formano un switch fabric multistadio NOBLOCKING che fornisce alte prestazioni e bassa latenza.
Il dispostivo Node Juniper QFX3500 è un modulo di interfacciamento dello switch
centrale ad alta velocità, qusteo switch multifunzione è progettato per la prossima
generazione dei data center. Esso fornisce una capacità totale di commutazione con
velocità di 640 Gbps. Il nodo ha
quarantotto porte di accesso a 10-Gbps con
ricetrasmettitori SFP+ o SFP per connettersi a Server, Storage o rete esterne.
Pagina 46 di102
Figura 27:Front Node QFX3500
Figura 28:Rear Node QFX3500
I componenti hardware del dispositivo QFX3500 Node sono:
•
Porte SFP+: Il Node QFX3500 è dotato di 48 porte di accesso da (0 a 47) che
supportano ricetrasmettitori SFP+ e SFP.
E' possibile utilizzare tutte le 48 porte a 10GbE con cavi SFP+ in rame.
Opzionalmente è possibile scegliere di configurare fino a 12 porte (da 0 a 5 e
da 42 a 47) con interfacce Fibre Channel a 2Gbps, 4Gbps e 8Gbps e di
configurare 36 porte (da 6 a 41) come interfacce Ethernet a 1Gbps.
Pagina 47 di102
Figura 29: Porte SFP del Node QFX3500
•
Porte QSFP+: Il Node QFX3500 è dotato di 48 porte di Uplink a 40Gbps(da
Q0 a Q3) che supportano fino a 4 porte QSFP+.
Le porte di Uplink sono utilizzate per collegare i dispositivi node ai dispositivi
interconnect
Figura 30: Porte QSFP del Node QFX3500
•
Sistema di raffreddamento: Il sistema di raffreddamento di un Node è
costituito da 2 ventole da un sistema supplementare composto da 2 ventole
montate sulla management board. Se un modulo di ventilazione del vassoio o
quello della msanagement board da esito negativo e non è ingrado di tenere il
dispositivo entro la soglia di temperatura desiderata compare un allarme sul
dispositivo che avverte del malfunzionamento e bisogna spegnerlo.
Pagina 48 di102
Figura 31: Ventole del Node QFX3500
Figura 32: Ventole montate sul management Board del Node QFX3500
•
Sistema di alimentazione: Il Node è dotato di uno o due alimentatori. Ogni di
essi fornisce alimentazione a tutti i componenti del dispositivo: se vengono
mantati due alimentatori, essi forniscono alimentazione completa e ridondante.
Se manca o viene rimosso un alimentatore, l'altro bilancia il carico elettrico
senza interruzioni.
Pagina 49 di102
Figura 33: Alimentatore del Node QFX3500
4.2.2 Interconnect-Juniper QFX3008
Il dispositivo Interconnect funge da fabric primario per il traffico data plane che
attraversa il sistema Qfabric tra i dispositivi Node. Il compito principale
dell'Interconnect è quello di trasferire il traffico dati tra i dispositivi Node ad alta
velocità. Per ridurre la latenza al minimo, il dispositivo Interconnect implementa un
multistadio di commutazione Clos e fornisce un interconnessioni non bloccanti tra
qualsiasi dispositivo Node nel sistema.
Figura 34: Multistadio di commutazione Clos applicato sull'Interconnect QFX3008
Pagina 50 di102
Descrizione delle 3 Fasi Multistadio di commutazione Clos:
– Fase F1: Il frame arriva in input da un dispositivo node entra in una porta
QSFP+ e il chipsep, posto sulla parte anteriore dell'Interconnect.
– Fase F2: Il frame, dopo essere stato elaborato nella fase F1, viene inviato ad un
midplane chipset, posto sulla parte posteriore dell'Interconnect.
– Fase F3: L'elaborazione del frame passa ad un chipset, posto sulla parte
anteriore dell'Interconnect.
Ogni fase di Closs ha la propria tabella di commutazione, contenente il percorso
migliore per determinare dove inviare il frame per raggiungere la fase successiva.
Le fasi F1 e F3 possono essere gestite dallo stesso chipset o da chipset diverso a
secondo del miglior percorso selezionato dal fabric.
Dopo che il frame attraversa il backplane dell'interconnect, esso lo invia al Node di
uscita.
Il QFX3008 contiene 8 slot e 4 interfacce a Gigabit Ethernet nella parte anteriore del
chassis, in ogni slot è possibile installare una scheda contenente 16 porte a 40Gbps
quad (QSFP+).
Il sistema completo offre una capacità totale di 128 collegamenti QSFP+. Le porte
del front card sono collegate ad alta velocità ad 8 slot sul posteriore del chassis che
fornisce una interconnessione robusta dell'intero sistema Qfabric.
I dispositivi Interconnect QFX3008 è un sistema completamente ridondante.La
configurazione del dispositivo Interconnect è progettato in modo che nessun singolo
guasto può provocare il blocco dell'intero dispositivo.
Pagina 51 di102
Figura 35:Front Interconnect QFX3008
Figura 36: Rear Interconnect QFX3008
Pagina 52 di102
I componenti hardware del dispositivo QFX3008 Interconnect sono:
•
Control Board: L'interconnect da due Control Board. La prima Control Board
ha il ruolo di Master, mentre l'altra ha la funzione di Backup.
L'Interconnect e collegato alla Control Plane attraverso 4 interfacce SFP+ delle
Control Board montate su di esso.
Se la Control Board Master fallisce o viene rimosso, la Control Board di
Backup prende il posto della Control Master permettendo il corretto
funzionamento dell'Interconnect.
Le Control Board sono inseribili e rimovibili a caldo, le unità possono essere
sostituite anche sul campo.
Le
Control Board vengono installate
sulla
parte posterione (rear)
dell'Interconnect negli slot etichettati CB0 e CB1.
Figura 37: ControlBoard dell'Interconnect QFX3008
•
Front Card: L'interconnect può avere fino a 8 Front card. Esse agiscono come
uno stadio di commutazione del modello multistadi.
Le Card sono inseribili rimovibili a caldo, le unità possono essere sostituite
anche sul campo.
Pagina 53 di102
Le Card vengono installate sulla parte anteriore (front) dell'Interconnect negli
slot etichettati da 0 a 7.
-Sistema di raffreddamento: Il sistema di raffreddamento di un Interconnect è
costituito da 10 vassoi. Ci sono otto allogi laterali per ventole, un vassoio
ventole anteriore e un'altro vassoio posteriore. Gli otto vassoi laterali sono
identici e intercambiabili.
Figura 38: Front Card dell'Interconnect QFX3008
•
Rear Card: L'interconnect ha 8 Rear card. sse agiscono come uno stadio di
commutazione del modello multistadi.
Le Rear card sono collegate alle 16 porte QFSP+ delle Front Card. Quando
l'Interconnect è operativo, tutte le otto card sono attive contemporaneamente.
Le Card sono inseribili rimovibili a caldo, le unità possono essere sostituite
anche sul campo. Le Card vengono installate sulla parte posteriore (rear )
dell'Interconnect negli slot etichettati da 0 a 7.
Pagina 54 di102
Figura 39: RearCard dell'Interconnect QFX3008
•
Sistema di raffreddamento: Il sistema di raffreddamento di un Interconnect è
costituito da 10 vassoi. Ci sono otto allogi laterali per ventole, un vassoio
ventole anteriore e un'altro vassoio posteriore. Gli otto vassoi laterali sono
identici e intercambiabili.
•
Sistema
di
alimentazione:
Gli
alimentatori
dell'interconnect
sono
completamente ridondati e sono inseribili e rimovibili a caldo, le unità possono
essere sostituite anche sul campo. L' etichette per gli alimentatori e i vassoi di
cablaggio sono fissati sulla parte posteriore dell'Interconnect. Gli slot degli
alimentatori sono etichettati da 0 a 5.
Figura 40: alimentatore dell'Interconnect QFX3008
Pagina 55 di102
4.2.3 Director-Juniper QFX3100
Il Director group è un elemento essenziale del sistema Qfabric, senza di essa non può
funzionare correttamente. Il gruppo di Director si occupa del monitoraggio e
manutenzione di tutti i componenti del sistema Qfabric.
Il director gestisce le seguenti attività:
– Gestione della topologia di rete realizzata in l'architettura Qfabric
– Gestione comunicazione Interfabric
– Configurazione e avvio dei dispositivi Interconnect e Node
– Assegnazione di identificativi ai componenti del sistema Qfabric
– Bilanciamento del carico dei processi interni al sistema Qfabric
– DNS Domain Name System
– DHCP Dynamic Host Configuration Protocol
– NFS Network File System
Il sistema operativo installato sul dispositivo Director è il JunosOS.
Ci sono due tipi di dispositivi Director :
– Director con disco rigido in grado di fornire servizi di elaborazione completi.
– Director senza disco rigido in grado di fornire un supporto ausiliario.
Il director group non è altro che una serie di dispositivi director con e senza disco
rigidi per raggiungere la potenza elaborativa, quando si aggiungono dispositivi
director al group, il group director coordina le loro attività e distribuisce
l'elaborazione del carico su tutti i dispositivi director disponibili.
Il Juniper Network QFX3100 è il dispositivo proposto alla gestione del QFX3000,le
cui dimensioni sono 2U e può essere montato dei rack standard di 19 pollici.
Pagina 56 di102
Figura 41: Front Director QFX3100
Figura 42: Rear Director QFX3100
•
Network Module: Il director QFX3100 supporta due moduli di rete. Ogni
modulo di rete contiene 4 porte Gigabit Ethernet con connettori RJ45 o 4 porte
SFP. Le porte vengono connessi alla control plane per la gestione di rete. Le
porte vengono anche utilizzate per collegare più dispositivi director tra loro in
modo da creare i director group. I moduli di rete sono sostituibili sul campo ma
non hot-swappable.
Figura 43: Modulo di rete del Director QFX3100
Pagina 57 di102
•
Moduli Hard Disk Drive: Il dispositivo QFX3100 ha 2 moduli di Hard Disk da
2 TB, i moduli forniscono storage per il dispositivo director. I director che
partecipano ad un
director group operano su array ridondanti di dischi
indipendenti (RAID).
I moduli HDD sono installati negli slot dei moduli superiori del QFX3100.
Tutti i dispositivi director vengono forniti con 2 moduli HDD e sono
sostituibili sul campo e hot-swappable.
•
AC power: Il dispositivo QFX3100 Director ha alimentatori AC ridondanti che
forniscono energia per il dispositivo. Le fessure di alimentazione si trovano sul
lato destro del pannello posterire del dispositivo QFX3100. Gli alimentatori
AC sono sostituibili sul campo e hot-swappable.
Figura 44: alimentatore del Director QFX3100
•
Moduli Fan: Il dispositivo QFX3100 Director ha 3 moduli di ventole. I moduli
di raffreddamento del sistema sono instalati negli slot dei moduli ventola sul
pannello posteriore del QFX3100 director. Le ventole sono sostituibili sul
campo e hot-swappable
Pagina 58 di102
Figura 45: Ventole del Director QFX3100
4.2.4 Virtual Chassis Juniper EX4200 (Control Plane)
Il Control Plane di rete è un out-of-band Ethernet di gestione della rete, che collega
tutti i componenti del sistema Qfabric. Per esempio, è possibile utilizzare un gruppo
di switch Ethernet EX4200 configurato come una Chassis Virtuale per attivare il
piano di controllo di rete.
Il Control Plane si collega al director, al node e all'interconnect, attraverso le porte di
management.
Ciò permette di mantenere il control plane e il data plane separato.
Figura 46:Virtual chassis composta 4 switch EX4200
Pagina 59 di102
4.2.5 Cablaggio Strutturato
Le varie connesioni per il cablaggio strutturale in una architettura QFabric è la
seguente:
•
Il controller QFX3100 ha due moduli con 4 connettori RJ45 che serviranno
per collegare il director alle due virtual chassis di management di rete.
Le connessioni sono realizzate con cavi in rame e non possono superare la
lunghezza massima di 150m.
Figura 47:Collegamento tra dispositivi director e virtual chassis
Pagina 60 di102
•
L'interconnect QFX3008 ha 4 porte di management su ogni Control Board che
serviranno per collegare l'interconnect alle due virtual chassis di management
di rete.
lunghezza massima di 150m
Figura 48:Collegamento tra Interconnect e virtual chassis
•
Il nodo QFX3500 ha 2 porte di management con connettori RJ45 su ogni
Control Board che serviranno per collegare il nodo alle due virtual chassis di
management di rete.
lunghezza massima di 150m
Pagina 61 di102
Figura 49:Collegamento tra nodi e virtual chassis
•
La connessione tra Interconnector QFX3008 e i nodi QFX3500 verrà realizzata
con fibre multimodali di tipo 0M4 con connettori QFX-QSFP-40G
Figura 50:Collegamento tra interconnect e node
Pagina 62 di102
Le due virtual Chassis sono composte da 8 switch EX4200, 4 caduno, e sono
collegate in stacking, con cavi CX4 e devono essere montati nello stesso rack per
mezzo delle limitazioni di lunghezza dei cavi.
Figura 51: Virtual chassis composta da 8 switch EX4200 collegati in Stacking
Pagina 63 di102
5 Riorganizzazione e ammodernamento del Data Center
UniNa per le nuove esigenze
Dopo aver studiato tutte le moderne innovazioni per vantare di un Data Center ad alte
prestazioni destinato a scopi scientifici, il mio lavoro di tesi è stato fornire una
possibile soluzione di ammodernamento del Data Center UniNa, attrezzando i rack
attualmente vuoti, con apparecchiature all'avanguardia, destinati al progetto superB.
Figura 52: Planimetria DataCenter UniNa
Pagina 64 di102
5.1 Modifiche da apportare all'intera infrastruttura per il
corretto funzionamento del Data Center
Le modifiche infrastrutturali del Data Center Unina e tutti i servizi ad esso connessi
(Power, raffreddamento, opere edilizie ecc.. ) sono descitti nell'Allegato1.
5.2 Possibile infrastruttura di rete da realizzare
5.2.1 Sistema di cablaggio
I data center sono caratterizzati da un'elevata concentrazione d'apparati e di
conseguenza deve essere prevista un'alta densità di cablaggio.
Il nuovo sistema di cablaggio studiato, che dovrà essere fornito per la messa in opera
dei rack vuoti, posti all'interno del Data Center Unina, risulta flessibile sia per l'uso di
apparati di rete multi-tier che converged-core.
Per la realizzazione dei cablaggi per la sala CED si sono studiate numerose tecnologie
per soddisfare le particolari necessità che sono diverse da un normale cablaggio di
edificio.
Alcune tecnologie sono state normate di recente, come ad esempio per le
interconnesioni rame: il protocollo 10 Gbps oppure la cat. 6A. altre sono in corso di
standardizzazione come la cat.7.
La soluzione scelta nel caso specifico è da considerare indicativa e sarà suddivisa in
due macro tipologie, ottica e rame.
Tale cablaggio rispetta lo standard internazionale TIA-942 “Telecommunication
Infrastructure Standard for Data Centers”.
Gli armadi da cablare sono tredici, due designati ad essere il centro stella attivo e
passivo, i restanti sono dedicati alla apparecchiature di calcolo e storage.
Pagina 65 di102
L’armadio “C.S. passivo” andrà collegato agli altri 11 armadi, con un numero di cavi
in rame e fibra necessario per collegare tutte le macchine di ogni armadio. Lo stesso
andrà collegato all’armadio “C.S. attivo” con un numero di cavi in rame e fibra tale da
consentire di rendere attive tutte le porte.
Quindi la scelta più adatta oggi è quella di utilizzare tutte le porte a 10Gbps al server e
per le interconnessioni attendendo le schede a 40 Gbps da integrare nel sistema su un
cablaggio a fibra.
Ogni macchina sarà dotata di n.4 di interfacce di rete, 2 del tipo 10GbE e 2 del tipo
1GbE, sia con porte in rame che con porte in fibra, per tanto il cablaggio sarà relizzato
in porte con cavi in rame secondo lo standard cat.6A e connettori RJ45, ed in porte
con cavi in fibra monomodale. Il cablaggio sarà ridondato, separato per la
comunicazione dati e per lo storage, cioè 1(+1) linea di interconnessione dei server tra
loro, ed il 1(+1) linea di connessione dello storage.
Tutto il DataCenter è connesso direttamente, con un fascio di 10 coppie di fibre
ottiche monomodali attestate su apposito pannello ottico di permutazione, all'X_POP
GARR_X.
Ai fini del monitoraggio, un cablaggio distinto e separato connetterà, con una struttura
a stella, tutti gli apparati da telecontrollare con degli switch con porte 10/100/1000
Mbps.
Tutto il cablaggio sarà aereo, su passerella a vista, sia per la parte in rame che la porte
in fibra. Pertanto, ogni rack dovrà consentire il passaggio dei dati dalla parte
superiore, senza per questo perdere la capacità di raffreddamento interno.
Collegamenti in fibra
Per quanto riguarda la componente ottica, per ognuno degli undici rack si è previsto di
stendere 4 cavi in fibra a 8 coppie per collegarli al centro stella passivo, per un totale
di 32 coppie per ogni armadio. In ognuno degli undici armadi, ci dovrà essere un
Pagina 66 di102
apposito patch panel ottico 19" min. 32 porte LC/LC 62.5/125μ che servirà per
l’attestazione delle 32 coppie di fibre.
Figura 53: connettori LC
Patch panel
I patch panel saranno utilizzati all’interno degli armadi per l’attestazione della fibra di
dorsale e del cablaggio ottico orizzontale utilizzando bretelle di permutazione verso
gli apparati e/o altre tratte di dorsale.
I patch panel dovranno essere a struttura modulare, permettendo di avere la massima
flessibilità d’impiego, e saranno dello stesso costruttore di tutto il sistema di cablaggio
passivo.
Figura54 : Patch panel per l’attestazione della fibra
Pagina 67 di102
La parte frontale dei patch panel consentirà l’alloggio di singoli pannelli adattatori
contenenti bussole di allineamento per fibra ottica e l’alloggio dei moduli ottici preconnettorizzati.
Pertanto, su ogni rack dovranno essere predisposti almeno 32 collegamenti in fibra
ottica multimodale 62.5/125μm OM4, tipo tight, LSZH, per applicazioni intraedificio, al fine di garantire la disponibilità di collegamenti in fibra verso la SAN delle
macchine presenti nel rack.
I cavi in fibra permettono di superare gli standard del settore consentendo una
trasmissione fino a 100 Gigabit Ethernet su fibra multimodale e fino a 550 metri di
distanza.
Le fibre OM4 hanno la caratteristica di innalzare a 550 metri il limite delle
trasmissioni a 10 Gigabit Ethernet su fibra multimodale.La massima distanza
raggiungibile a 100 Gigabit è di 125 mt.
OM4 (62,5/125)
100 Mb Ethernet (1000 Mb) fino a 550 metri(SX)
1 Gb (1000 Mb)550 metri(SR)
10 Gb Ethernet >400 metri(SR)
40 Gb Ethernet 125 metri
100 Gb Ethernet 125 metri
Inoltre, sul rack N°19(vedi figura n) di centro stella passivo alla concentrazione del
cablaggio dovranno essere predisposti collegamenti di uplink in fibra multimodale
62,5/125, 2 cavi ad 8 coppie, verso gli altri centri stella posti all'interno del Data
Center .
I patch panel, in funzione del tipo di cavo utilizzato, ospiteranno moduli con bussole
LC.
L’attestazione dei cavi ottici di dorsale deve avvenire su pannelli ottici adatti al
montaggio su rack 19” (1U o superiore).
Il permutatore utilizzato avrà una struttura componibile che permette la massima
flessibilità d’impiego.
Pagina 68 di102
Il pannello di attestazione per fibra ottica sarà utilizzato all’interno degli armadi per
l’attestazione della fibra di dorsale. Le interconnessioni saranno realizzate utilizzando
bretelle di permutazione di tipologia omogenea alla fibra installata, collegate agli
apparati attivi e/o altre tratte di dorsale e/o postazioni di lavoro. Sulla parte frontale
del pannello, in corrispondenza di ogni bussola sarà posizionata una etichetta
identificativa della fibra connettorizzata.
Le bretelle di raccordo agli apparati attivi dovranno essere del tipo fibra multimodale
62,5/125 dotate ai due estremi di opportuni connettori ceramici, di tipo LC-LC ,
rispettando nel collegamento agli apparati la polarizzazione delle fibre. La lunghezza
della bretella dovrà essere finalizzata in dipendenza delle distanze medie di
permutazione, con lunghezza minima 1 metro.
Figura55: Bretelle OM4 con connettori LC/LC
Ciascuna fibra della bretella, dovrà essere singolarmente protetta con rivestimento di
tipo Tight, costituito da filo aramidico e guaina termoplastica ed avrà le stesse
caratteristiche ottiche del cavo installato.
Pagina 69 di102
I permutatori ottici dovranno essere a struttura modulare, permettendo di avere la
massima flessibilità d’impiego, e saranno dello stesso costruttore di tutto il sistema di
cablaggio passivo.
La parte frontale dei permutatori consentirà l’alloggio di singoli pannelli adattatori
contenenti bussole di allineamento per fibra ottica e l’alloggio dei moduli ottici preconnettorizzati.
I permutatori ottici saranno dotati di una struttura dedicata per la gestione del
cablaggio sia interno che delle bretelle esterne, in modo da garantire un’operatività
migliore, sia in fase di controllo che di manutenzione delle attestazioni dei cavi ottici.
Per la soluzione a giunzione
è possibile associare un cassetto dedicato al
contenimento dei vassoi porta splice.
Sul retro tutti i pannelli saranno corredati di opportuni ancoraggi per il bloccaggio del
cavo in fibra ottica. I cavi saranno inoltre fascettati e legati ai montanti del telaio
dell’armadio, dal basso verso l’alto fino al raggiungimento dei medesimi.
Connessioni in Rame
Per quanto riguarda il collegamento in rame dovrà essere adottata la stessa tipologia
di cablaggio che dovrà prevedere quindi il collegamento attraverso cavo multicoppia
cat.6A in grado di supportare una capacità trasmisiva fino a 10 Gbps su 4 coppie,
attestato su entrambi i lati (rack di permutazione centrale e rack di accesso) su patch
panel.
Figura56: Connettori Rj45
Pagina 70 di102
Le prestazioni del canale installato richiesto, dovranno garantire i valori minimi di
supporto per la trasmissione dati a 10 Gb/s protocollo Ethernet secondo il nuovo
standard IEEE 802.3ba che identifica la modalità di trasmissione del transceiver
10GBASE-T (10 Gb/s in banda base su coppia twistata). I valori minimi richiesti
dovranno essere certificati da un ente terza parte riconosciuto internazionalmente ,e
sono quelli stabiliti dallo standard TIA T568B.2-10 riconducibili alla così definita in
questo standard “Categoria 6A”, canale fisico portante fino alla frequenza di 500
MHz, categoria che viene pertanto richiesta per il cablaggio orizzontale in rame di
questo progetto nella modalità UTP, con i seguenti valori:
Tutti i componenti testati in Categoria 6A dovranno essere dello stesso produttore di
tutto il sistema del cablaggio strutturato, e preferibilmente con un’alta capacità di
canale.
Caratteristiche dei cavi
I cavi richiesti dovranno essere certificati da ente terza parte come componenti
conformi alla Categoria 6A UTP.
Il cablaggio orizzontale in rame dovrà essere di tipo stellare tra gli armadi di centro
stella e gli armadi server, utilizzando cavi UTP a 4 coppie in filo di rame con guaina
esterna LSZH, Categoria 6A, adatti per essere installati all’interno di un edificio.
Caratteristiche dei pannelli di permutazione con prese RJ45 e delle bretelle di
permutazione.
I pannelli di permutazione con prese RJ45 e le bretelle di permutazione richieste,
dovranno essere certificati da ente terza parte come componenti conformi alla
Categoria 6A UTP.
Pagina 71 di102
Figura57: Patch panel per connettori Rj45
I pannelli di permutazione orizzontale in rame categoria 6A, da 1 unità per montaggio
rack 19”con minimo 48 porte con connettori RJ45, dovranno essere utilizzati
all’interno degli armadi per l’attestazione di cavi UTP categoria 6A e la relativa
permutazione tramite bretelle categoria 6A verso gli apparati.
In ogni pannello di permutazione dovranno essere previste prese RJ45 categoria 6A,
come sistema rapido di connessione frontale delle bretelle categoria 6A UTP lato
apparati, provviste nel lato posteriore di sistema di connessione delle coppie dei cavi
UTP categoria 6A con tecnica IDC (Insulation Displacement Contact) di bassa
emissione, predisposta per accettare i conduttori del sistema 10G.
Caratteristiche strutturali minime dei pannelli di permutazione
Posteriormente i pannelli dovranno essere dotati di barra di fissaggio per i cavi
collegati, che garantisca il corretto supporto e il rispetto dei raggi di curvatura richiesti
dagli standard.
Pagina 72 di102
Per garantire al massimo la riduzione dei disturbi di diafonia interna ed esterna
(aliena), notevolmente presenti nelle frequenze della categoria 6A, le prese RJ45
dovranno essere dotate di sistema di reattanza sincronizzata.
Inoltre, le prese RJ45 per salvaguardarsi dai disturbi elettromagnetici dei connettori e
prese adiacenti, e per non recare altrettanti disturbi, dovranno avere al loro interno le
cosiddette “zone d’isolamento tattico”, composte preferibilmente da barriere
metallizzate.
Le bretelle di permutazione dovranno essere fornite con lunghezze variabili da 1 a 5
metri scelte in modo adeguato per garantire un’organizzazione ordinata dell’armadio
di permutazione .
La bretella dovrà essere costituita da un cavo a 4coppie UTP in rame a filamenti 26AWG e rispondente alla Categoria 6A con guaina di protezione ritardante la fiamma.
Le bretelle RJ45-RJ45 dovranno essere dotate alle due estremità di connettori a
separazione di coppie (tipo paralign 2) RJ45 Categoria 6A per la completa
connettorizzazione delle 4 coppie; la tecnologia utilizzata dal costruttore del sistema
passivo permetterà l’ottimizzazione dell’attestazione del cavo di patch sul plug,
mantenendo separate le coppie fino al punto di attestazione e riducendo al minimo
l’effetto della diafonia tra le coppie, così da rispettare, per i componenti in Categoria
6A le specifiche richieste dello standard 10 Gigabit.
Per tutte le bretelle di permutazione dovranno essere fornite le certificazioni da enti
terza parte di rispondenza alla categoria prodotta dal costruttore, in questo caso
secondo TIA 568-B.3-10 per la categoria 6A.
I plug della bretella per salvaguardarsi dai disturbi elettromagnetici dei plug e prese
adiacenti, e per non recare altrettanti disturbi, dovranno avere al loro interno le
cosiddette “zone d’isolamento tattico”, composte preferibilmente da barriere
metallizzate. Le bretelle così supereranno i requisiti minimi di conformità TIA per i
componenti in Categoria 6A, e l’accoppiamento della bretella con il connettore o la
porta del pannello beneficierà di un migliore rapporto segnale/rumore.
Plug provvisti di zone d’isolamento “tattico” con barriere metallizzate per migliorare
il rapporto segnale/rumore e ridurre i disturbi interni/esterni
Pagina 73 di102
5.2.2 Apparati di rete
In base all'architettura di rete Qfabric QFX3000 di Juniper studiata, si è pensato di
fornire una soluzione per attrezzare i 13 Rack attualmente vuoti nel DataCenter
UniNa.
Figura 58: Planimetria DataCenter UniNa
L'architettura Qfabric QFX3000 di Juniper si basa su dispositivi di rete ad alte
prestazioni in grado di supportare migliaia di porte all'interno di un Data Center a
livello singolo assicurando una latenza ultra ridotta, un'alta elasticità e la semplicità di
un singolo switch.
Data la limitazione economica imposta, la soluzione proposta potrà essere realizzata
in due momenti diversi, in un primo momento si prevede di attrezzare tutti rack con
gli apparati di rete, entro il 2016 il DataCenter verrà completato rendendolo più
affidabile con l'aggiunta di dispositivi di rete per realizzare la ridondanza tra gli
apparati.
Pagina 74 di102
Figura 59: Schema logico del funzionamento dell'architettura Qfabric applicata ai 13 rack del
DataCenter UniNa
I rack da attrezzare sono tredici, tre sono i rack di rete ( Rack 18/19/20) mentre i
restanti sono dei rack dedicati al calcolo e allo storage (Rack da 13 a 17 e da i Rack
21 a 25).
Rack di rete
Il Rack 18 è stato designato ad essere il centro stella passivo, mentre i rack 19 e il
Rack 20 sono i centri stella attivi.
Il centro stella attivo sarà dotato di un Interconnect QFX3008, uno switch centrale con
un'unica matrice di switching per tutto il data center e in ogni rack, dedicato al calcolo
e allo storage, non vi sarà uno switch locale ma un Node QFX3500, ovvero un
modulo remotizzato dello switch centrale.
Pagina 75 di102
Rack 19
Il Rack 19 inizialmente conterrà:
– N°1 Interconnect QFX3008, switch centrale
– N°1 Director QFX3100, dispositivo che si occupa del monitoraggio e la
manutenzione dei componenti del sistemo Qfabric.
Director QFX3100
DGo
Interconnect QFX3008
ICo
Figura 60: Rack N°19 Centro Stella Attivo senza ridondanza degli apparati di rete
In un futuro, quando si avrà la possibilità di ridondare i dispositivi, al Rack 19 verrà
aggiunto un'altro dispositivo Director QFX3100
Pagina 76 di102
2 Director QFX3100
DG0 e DG1
ICo
Figura 61: Rack N°19 Centro Stella Attivo con ridondanza degli apparati di rete
Rack 20
Il Rack 20 inizialmente conterrà N°4 di switch EX4200 che formano le 2 virtual
chassis da 2 switch caduno, per il management di rete, gli switch devo stare nello
stesso rack perchè sono collegati in stacking tra loro, con cavi CX-4.
VC1
VC0
Figura 62: 2 Virtual Chassis con 4 Switch
Pagina 77 di102
2 Switch Ex4200
VC0
2 Switch Ex4200
VC1
Figura 63: Rack N°20 Centro Stella Attivo senza ridondanza degli apparati di rete contenente gli
apparati per il management di rete
In un futuro, quando si avrà la possibilità di ridondare i dispositivi, al Rack 20 verrà
aggiunto un Interconnect QFX3008 con la stessa matrice dell'Interconnect IC0 e altri
4 Switch EX4200
Figura 64: 2 Virtual Chassis con 4 Switch
Pagina 78 di102
4 Switch Ex4200
VC0
4 Switch Ex4200
VC1
IC1
Figura 65: Rack N°20 Centro Stella Attivo con ridondanza degli apparati di rete
La Rete di management e monitoring dovrà essere in grado di gestire l’intera rete, ad
essa dovranno essere collegati tutti i rack e gli apparati per il controllo accessi per la
relativa gestione.
I dispositivi Interconnect e Director si dovranno collegare alle due virtual chassis
tramite connessioni in rame (Rj45) ad una velocità di 10 Gb/s.
Pagina 79 di102
Connessioni realizzabili con gli apparati di rete del centro stella senza la ridondanza
degli apparati.
DC0
VC1
VC0
Figura 66: Connessioni tra il Director DG0 e la 2 Virtual Chassis (VC0 e VC1)
IC0
VC0
VC1
Figura 67: Connessioni tra il Interconnect IC0 e la 2 Virtual Chassis(VC0 e VC1)
Pagina 80 di102
Connessioni realizzabili con gli apparati di rete del centro stella con la ridondanza
degli apparati.
Figura 68: Connessioni tra il Group Director (DG0 e DG1) e la 2 Virtual Chassis(VC0
e VC1)
Figura 69: Connessioni tra gli Interconnect (IC0 e IC1) e la 2 Virtual Chassis(VC0 e
VC1)
Pagina 81 di102
Planimetria del Data Center Unina che mette in evidenza i centri stella e la loro
composizione (sviluppo entro il 2013)
Pagina 82 di102
Planimetria del Data Center Unina che mette in evidenza i centri stella e la loro
composizione (sviluppo entro il 2016)
Pagina 83 di102
Rack di Calcolo e Storage:
I rack dedicati al calcolo e allo storage si possono dividere in 3 tipologie:
– Rack contenente solo apparati di Storage
– Rack contenente solo apparati di Calcolo
– Rack ibridi contenente sia apparati di Storage che di Calcolo
Ogni rack inizialmente sarà attrezzato con:
– N°1 Node QFX3500, apparato remotizzato dello switch centrale Interconnect
QFX3008, con un numero adeguato di porte in grado di ridondare i
collegamenti verso i server e lo storage montati nei rack .
–
N°1 switch a 48 porte per il management degli apparati di calcolo e di storage
Node QFX3008
Switch Management
Figura 70: Apparati di rete montati sui Rack di calcolo e storage
Pagina 84 di102
Su i rack server possono essere montate un massimo di N°24 Server,ogni macchina
sarà dotata di n.4 di interfacce di rete, 2 di tipo 10GbE e 2 di tipo 1 GbE , sia con
porte in rame che con porte in fibra.
Figura 71: Connessioni logiche tra server e apparati di rete dove è prevista solo la
ridondanza delle connessioni
Pagina 85 di102
I collegamenti tra il Node QFX3500 e i server possono essere :
– Massimo 48 collegamenti in rame con cavi DAC a 10GbE
– Massimo 12 Connessioni FC
– Massimo 36 connessioni a 1GbE
In un futuro, quando si avrà la possibilità di ridondare i dispositivi, ai Rack di calcolo
e di storage verrà aggiunto un ulteriore Node QFX3500
2 Node QFX3008
Switch di management
Figura 72: Apparati di rete ridondati montati sui Rack di calcolo e storage
Pagina 86 di102
Figura 73: Connessioni logiche tra server e apparati di rete dove è prevista la
ridondanza delle connessioni e degli apparati di rete
Pagina 87 di102
Planimetria del Data Center Unina che mette in evidenza i Rack di calcolo e storage
con la loro composizione (sviluppo entro il 2013)
Pagina 88 di102
Planimetria del Data Center Unina che mette in evidenza rack di calcolo e storage con
la loro composizione (sviluppo entro il 2016)
Pagina 89 di102
Entro il 2013 i componenti di rete montati nella parte del Data Center UniNa da
attrezzare saranno:
– N°1 Interconnect QFX3008 (IC0)
– N°1 Director QFX3100 (DG0)
– N°4 Switch EX4200 a 48 porte (VC0 e VC1)
– N°12 Node QFX3500
– N°12 Switch Management a 48 porte
Entro il 2016 i componenti di rete montati nella parte del Data Center UniNa da attrezzare
saranno:
– N°2 Interconnect QFX3008 (IC0 e IC1)
– N°2 Director QFX3100 (DG0 e DG1)
– N°8 Switch EX4200 a 48 porte (VC0 e VC1)
– N°24 Node QFX3500
– N°12 Switch Management a 48 porte
Pagina 90 di102
6 Conclusioni
Il mio lavoro di tesi è stato nel progettare una nuova rete ad Alte prestazioni presso il
DataCenter UniNa nell'ambito del progetto Re.Ca.S.(Rete di Calcolo per SuperB). Più
precisamente, lo scopo della tesi è definire una possibile riorganizzazione ed
ammodernamento del DataCenter per le nuove esigenze descritte dal PONa3_00052,
con tecnologie all'avanguardia.
Questo lavoro di tesi mi ha permesso di lavorare in un gruppo di lavoro composto da e
confrontarmi con diverse figure professionali.
La mia conoscenza sugli apparati di rete e le infrastrutture dei DataCenter è stata
ampliata grazie ad un contatto diretto con i fornitori, grazie ad essi sono riuscita a
trovare la soluzione più adatta e competitiva per l'ammodernamento e l'ampliamento
del DataCenter Unina con apparati di rete, calcolo e storage all'avanguardia .
Pagina 91 di102
Allegato1
CAPITOLATO TECNICO
IMPIANTISTICA DATA CENTER UNINA
1. OGGETTO DELL’APPALTO
Oggetto dell’appalto è la realizzazione, adeguamento e ristrutturazione di impianti
tecnologici a servizio del Data Center della sede di Napoli Università Federico II,
nell’ambito del progetto ReCaS.
Nel dettaglio, l’appalto prevede:
A. Fornitura in opera di un ampliamento del sistema di alimentazione
B. Quadro elettrico a servizio dei rack
C. Sistema di distribuzione potenza elettrica Rack
D. Sistema di raffreddamento
E. Fornitura in opera di un cablaggio in rame e fibra
2. DETTAGLIO DELLA FORNITURA
Nel seguito vengono descritte le specifiche generali della fornitura; sarà compito dei
concorrenti proporre, nel progetto, tutte le soluzioni tecniche necessarie alla
realizzazione del sistema nel suo complesso, cioè rendere l’intero CED funzionante in
cui l’Ente installerà apparecchiature di calcolo ed informatiche nei restanti rack vuoti.
Il progetto dei concorrenti dovrà essere a livello di “progetto definitivo”, e dovrà
Pagina 92 di102
essere esaustivo della parte elettrica, idraulica, di cablaggio, oltre che degli armadi
rack e di tutte le forniture minori di cui più avanti. Il progetto dei concorrenti dovrà
essere conforme alle norme tecniche CEI ed UNI.
A. Fornitura in opera di un ampliamento del sistema di alimentazione
Il sistema di alimentazione del Data Center parte dalla cabina elettrica
dedicata da 1 MWatt posta e
un gruppo elettrogeno, dal quale proviene
l'alimentazione in caso di mancanza di energia a quest'ultima attraverso un
apposito serbatoio avente capacità pari a 6000 litri. La cabina è in grado di
fornire energia a sufficienza per alimentare due UPS da 400 Kw (Gruppi di
continuità) chiamati “UPS A” e “UPS B”, il cui compito è quello di
ripartire il carico di corrente.
Pagina 93 di102
Si prevede il potenziamento del sistema di alimentazione presente, con n.1
UPS da 400 KVA, e n.1 trasformatore da 1 MW, e realizzazione di un
sistema di telecontrollo della parte impiantistica (cabina elettrica, gruppo
elettrogeno, gruppo di continuità), ammodernandone la parte elettronica.
Per l’inserimento del nuovo UPS si dovranno prevede dei lavori edili per
ampliare l’attuale cabina elettrica.
B. Quadro elettrico a servizio dei rack
I quadri elettrici hanno il compito di distribuire ai vari livelli dove sono
installati l'energia elettrica proveniente dalla linea principale di adduzione.
Sono supporti o carpenterie che servono a racchiudere le apparecchiature
elettriche di comando e/o a preservare i circuiti elettrici. La soluzione
attuale consiste in un (1) n.1 quadro elettrico identificato in seguito come
"Q.SM.UPS- A/B" per l'alimentazione dei quadri di distribuzione elettrica
dei rack "Q.PDR" e delle utenze di servizio, centrale antincendio, centrale
Pagina 94 di102
video sorveglianza, terminali controllo accessi ecc.); e di (2) n.1 quadro
elettrico identificato come "Q.CDZ", per l'alimentazione delle utenze al
servizio del sistema di raffreddamento.
C. Sistema di distribuzione potenza elettrica Rack
Il sistema di distribuzione di potenza elettrica del data center è basato sul
sistema Power Modular Concept di Rittal crea le condizioni di base per
preservare l'efficienza di tutti i processi aziendali attraverso il
monitoraggio dei parametri di massima sicurezza dell'infrastruttura fisica
IT, ma soprattutto l'alta scalabilità ed implementazione a caldo della
distribuzione della corrente agli armadi Server.
Nel Data Center sono installati sei armadi PDR (Power Distribution
Rack),numerati da 1 a 6, atti alla subdistribuzione di corrente agli armadi
Server in modalità plug&play . L'armadio PDR (Power Distribution Rack
riceverà l'alimentazione dal quadro generale, attraverso i 4 moduli PDM
(Power Distribution Modul) con cavi preconnettorizzati con spine normate
che vanno ad alimentare le 2 barre di alimentazione modulari PSM (Power
System Modul) per ogni rack su cui si attestano i vari moduli di
alimentazione.
Pagina 95 di102
Ampliare l’attuale
sistema di distribuzione
di potenza ai
rack
aggiungendo all’interno dei PDR i moduli di distribuzione PSM che
dovranno alimentare i Rack centrali del Data Center (dal Rack 13 al 25).
Aggiungere prese intelligenti ai rack attualmente inutilizzati, in ogni
armadio dovranno essere montate, sul retro, due verticali di prese
elettriche (PSM) da rack, minimo 48 prese per armadio (24 a destra e 24 a
sinistra). Le PSM dovranno essere dotate di interfaccia RJ45 per il
telecontrollo.
D. Fornitura in opera di un sistema di raffreddamento
Il raffreddamento dei rack avviene grazie a delle colonne LCP (Liquid
Cooling Package) che sono interposte tra due armadi che risultano
raffreddati entrambi dallo stesso apparato
LCP garantendo il flusso
dell'aria circoscritta ai singoli rack in modo front to back. Gli LCP sono
basati su moduli scambiatori di calore in quanto l’interscambio aria-acqua
Pagina 96 di102
ha un potere di dissipazione 4 volte superiore alla sola aria. Ciascuna
colonna LCP ha la caratteristica peculiare di poter accettare sino a tre
moduli di raffreddamento in modalità PLUG&PLAY hot swappable,
questo garantisce una elevata/o :
- disponibilità di raffreddamento, in caso di presenza di eventuali HOT
SPOT i moduli leggeranno i picchi improvvisi richiedendo maggior acqua
per il raffreddamento spingendo contemporaneamente ed in modo
automatico i ventilatori per ripristinare in pochissimi secondi l’equilibrio
termico .
- risparmio energetico in quanto svincolati dalle temperature ambiente si
va a raffreddare solo l’aria interna circoscritta ad ogni singolo rack .
- affidabilità attraverso la modularità ed espandibilità futura a caldo
PLUG&PLAY, in quanto in caso di failure di un modulo i rimanenti si
autoregolano per garantire l’equilibrio termico richiesto.
- espandibilità dell’impianto, in quanto sarà possibile aumentare l’alta
densità e capacità di calcolo negli armadi aggiungendo colonne di
raffreddamento ulteriori grazie alla particolarità predisposta dell’impianto
idrico .
- facile manutenibilità a caldo HOT SWAPPABLE anche per personale
non specializzato ma adeguatamente istruito con il beneficio di un
abbattimento dei costi di gestione.
Le colonne LCP sono alimentate da una centrale frigorifera composta da:
n. 02 Gruppi frigoriferi “ridondanti” della potenza di 660 kW cadauno
n. 01 Serbatoio inerziale da 5000 lt
n 01 Gruppo di pompaggio ridondante
Per il completamento del Data Center bisognerà munire di unità di
raffreddamento
(scambiatori acqua-aria) i rack già presenti nel Data
Center, ancora inutilizzati, già dotati di uno scambiatore e portandoli a tre
scambiatori per rack, per un totale di 24 LCP
Pagina 97 di102
E. Fornitura in opera di un cablaggio in rame e fibra
La scelta delle componenti di un sistema di interconnessione in un sistema
complesso richiede un’attenta analisi delle possibili soluzioni. La
soluzione da adottare nel caso specifico è da considerare indicativa e sarà
suddivisa in due macro tipologie, ottica e rame. Armonizzando entrambe
le tipologie si richiede per l’intero cablaggio il rispetto del nuovo standard
internazionale EIA/TIA-942 “Telecommunication Infrastructure Standard
for Data Centers”.
Nell’ambito del presente appalto, uno dei tredici armadi (qui denominato
“C.S. passivo”) sarà utilizzato quale centro stella per il cablaggio
strutturato, in rame (UTP) e fibra ottica (multimodale, 62.5/125 ),
secondo lo standard EIA/TIA 942. Un secondo dei tredici armadi (qui
denominato “C.S. attivo”) sarà utilizzato quale centro stella degli apparati
attivi progetto.
L’armadio “C.S. passivo” andrà collegato agli altri 11 armadi, con un
numero di cavi in rame e fibra necessario per collegare tutte le macchine
di ogni armadio. Lo stesso andrà collegato all’armadio “C.S. attivo” con
un numero di cavi in rame e fibra tale da consentire di rendere attive tutte
le porte.
Per ognuno degli altri undici armadi rack, andranno stesi n. 4 cavi in
fibra a 8 coppie, per un totale di 32 coppie per ogni armadio. In
ognuno degli undici armadi, un apposito patch panel ottico 19" min.
32 porte LC/LC 62.5/125μ che servirà per l’attestazione delle 32
coppie di fibre.
I permutatori ottici saranno utilizzati all’interno degli armadi per
l’attestazione della fibra di dorsale e del cablaggio ottico orizzontale
utilizzando bretelle di permutazione verso gli apparati e/o altre tratte di
dorsale.
I permutatori ottici dovranno essere a struttura modulare, permettendo di
avere la massima flessibilità d’impiego, e saranno dello stesso costruttore
di tutto il sistema di cablaggio passivo.
Pagina 98 di102
La parte frontale dei permutatori consentirà l’alloggio di singoli pannelli
adattatori contenenti bussole di allineamento per fibra ottica e l’alloggio
dei moduli ottici pre-connettorizzati.
I permutatori ottici saranno dotati di una struttura dedicata per la gestione
del cablaggio sia interno che delle bretelle esterne, in modo da garantire
un’operatività migliore, sia in fase di
controllo che di manutenzione delle attestazioni dei cavi ottici. Per la
soluzione a giunzione è possibile associare un cassetto dedicato al
contenimento dei vassoi porta splice.
Sul retro tutti i pannelli saranno corredati di opportuni ancoraggi per il
bloccaggio del cavo in fibra ottica. I cavi saranno inoltre fascettati e legati
ai montanti del telaio dell’armadio, dal basso verso l’alto fino al
raggiungimento dei medesimi.
I pannelli adattatori con le bussole ottiche avranno una modularità con
connettori LC su ogni modulo con la possibilità di inserimento ed
estrazione frontale a clip; inoltre tutto il cassetto ottico sarà estraibile
dando la possibilità di accedere frontalmente alla parte interna.
Nell’armadio “C.S. passivo”, le attestazioni saranno quindi 352
coppie, pari a 32 coppie per 11.
Dall’armadio “ C.S. passivo” verranno stesi altri due cavi in fibra a 8
coppie che collegheranno i due centri stella presenti nel Data Center
Unina.
Le attestazioni per queste ulteriori connessioni si aggiungono a quelle
sopra riportate, sia nell’armadio “C.S. passivo” che negli altri armadi
centro stella del CED.
Per ciascuno degli undici armadi rack andranno stesi n. 48 cavo in rame
UTP cat.6A ed un apposito patch panel 19” RJ45 (connettori femmina)
servirà per l’attestazione delle 48 terminazioni. I patch panel con prese
Pagina 99 di102
RJ45 e le bretelle di permutazione richieste, dovranno essere certificati da
ente terza parte come componenti conformi alla Categoria 6A UTP.
I patch panel orizzontale in rame categoria 6A, da 1 unità per montaggio
rack 19”, dovranno essere utilizzati all’interno degli armadi per
l’attestazione di cavi UTP categoria 6A e la relativa permutazione tramite
bretelle categoria 6A verso gli apparati. In ogni pannello di permutazione
dovranno essere previste prese RJ45 categoria 6A, come sistema rapido di
connessione frontale delle bretelle categoria 6A UTP lato apparati,
provviste nel lato posteriore di sistema di connessione delle coppie dei
cavi UTP categoria 6A con tecnica IDC (Insulation Displacement Contact)
di bassa emissione, predisposta per accettare i conduttori del sistema 10G.
Posteriormente i pannelli dovranno essere dotati di barra di fissaggio per i
cavi collegati, che garantisca il corretto supporto e il rispetto dei raggi di
curvatura richiesti dagli standard.
Per garantire al massimo la riduzione dei disturbi di diafonia interna ed
esterna (aliena), notevolmente presenti nelle frequenze della categoria 6A,
le prese RJ45 dovranno essere dotate di sistema di reattanza sincronizzata.
Inoltre, le prese RJ45 per salvaguardarsi dai disturbi elettromagnetici dei
connettori e prese adiacenti, e per non recare altrettanti disturbi, dovranno
avere al loro interno le cosiddette “zone d’isolamento tattico”, composte
preferibilmente da barriere metallizzate.
Le bretelle di permutazione dovranno essere fornite con lunghezze
variabili da 1 a 5 metri scelte in modo adeguato per garantire
un’organizzazione ordinata dell’armadio di permutazione .
La bretella dovrà essere costituita da un cavo a 4coppie UTP in rame a
filamenti 26-AWG e rispondente alla Categoria 6A con guaina di
protezione ritardante la fiamma.
Le bretelle RJ45-RJ45 dovranno essere dotate alle due estremità di
connettori a separazione di coppie (tipo paralign 2) RJ45 Categoria 6A per
la completa connettorizzazione delle 4 coppie; la tecnologia utilizzata dal
costruttore
del
sistema
passivo
permetterà
l’ottimizzazione
Pagina 100 di102
dell’attestazione del cavo di patch sul plug, mantenendo separate le coppie
fino al punto di attestazione e riducendo al minimo l’effetto della diafonia
tra le coppie, così da rispettare, per i componenti in Categoria 6A le
specifiche richieste dello standard 10 Gigabit.
Per tutte le bretelle di permutazione dovranno essere fornite le
certificazioni da enti terza parte di rispondenza alla categoria prodotta dal
costruttore, in questo caso secondo EIA/TIA942 per la categoria 6A.
I plug della bretella per salvaguardarsi dai disturbi elettromagnetici dei
plug e prese adiacenti, e per non recare altrettanti disturbi, dovranno avere
al loro interno le cosiddette “zone d’isolamento tattico”, composte
preferibilmente da barriere metallizzate. Le bretelle così supereranno i
requisiti minimi di conformità TIA per i componenti in Categoria 6A, e
l’accoppiamento della bretella con il connettore o la porta del pannello
beneficerà di un migliore rapporto segnale/rumore.
Nell’armadio “C.S. passivo” le attestazioni in rame saranno quindi 528,
pari a 48x11, tutte RJ45 femmina.
Per quanto riguarda il collegamento tra l’armadio “C.S. passivo” e quello
“C.S. attivo”, saranno necessari 352 connessioni in fibra e 528 connessioni
in rame. Per le connessioni in rame, le attestazioni in entrambi gli armadi
saranno del tipo RJ45 femmina, e dovranno quindi essere fornite le 528
bretelle maschio-maschio per connettere, nell’armadio “C.S. passivo”, le
attestazioni provenienti dagli undici rack a quelle provenienti dall’armadio
“C.S. attivo”. Analogamente per le connessioni in fibra dovranno essere
fornite 352 Bretelle ottiche multimodale 62,5/125 con connettori LC da
entrambe le parti.
Tale configurazione consentirà successivamente sia di realizzare una
infrastrutture “converged core”, con ogni server connesso direttamente ad
un solo grande switch nell’armadio “C.S. attivo”, sia di realizzare una
architettura distribuita, con switch di distribuzione in ognuno degli armadi,
e switch di concentrazione nell’armadio “C.S. attivo”.
Pagina 101 di102
Tutti i cavi saranno opportunamente etichettati a monte e a valle
3. PLANIMETRIE DEI LOCALI
Il locale in cui andranno installate le apparecchiature, è qui sotto rappresentato:
Nella piantina in figura viene mostrata l’attuale struttura del data center della Federico
II dove i rettangoli rappresentano i rack attualmente installati. Quelli indicati con
SCOPE e ATLAS sono completi mentre gli altri sono da attrezzare.
Pagina 102 di102

Progettazione di una rete ad alte prestazioni per un Data

Transcript

Documenti analoghi

s[AF#trffi ffi S#Strffifitr# trtpffiffip#trssf

diario orali graduatorie insegnanti e educatrici

Art Music Academy sas di Marcucci Daniela

ITALIANO ISTRUZIONI PER L`INSTALLAZIONE A RACK

Encoder EC_614 - CART Elettronica

DISTRIBUTORI PER FLUIDI ROBOT A 3 E 4 ASSI INTERPOLATI

L`insegnante Paone Carmela, con contratto di lavoro a tempo

DIFFUSORI ACUSTICI 177.14.075 FBT STUDIO PRO

PELICAN