Datacenter-1 - Università degli Studi di Napoli Federico II

Transcript

Cloud e Datacenter Networking
Università degli Studi di Napoli Federico II
Dipartimento di Ingegneria Elettrica e delle Tecnologie dell’Informazione DIETI
Laurea Magistrale in Ingegneria Informatica
Prof. Roberto Canonico
Datacenter: architettura ed organizzazione
V1.0 – Febbraio 2016 – © Roberto Canonico
Lesson outline
Datacenter: functional organization
I° Quadrimestre
Datacenter: IT infrastructure and
other plants
Server racks organization
The TIA-942 standard
Cabling
Datacenter cooling plant and CRAC units
UPS plant
Datacenter energy efficiency and PUE
Datacenter tiers
Modular datacenters
Some datacenter examples
Corso di Cloud e Datacenter Networking – Prof. Roberto Canonico
2
Datacenter: finalità ed organizzazione
Un datacenter è una struttura realizzata allo scopo di ospitare un sistema
informatico di grandi dimensioni ed i componenti ausiliari ad essi associati,
quali i sistemi di telecomunicazione, alimentazione, condizionamento, ecc.
Un datacenter (DC) comprende:
Dispositivi IT: server, apparati di rete, dispositivi di memorizzazione dati (storage)
Un sistema di cablaggio
Sistemi di alimentazione di emergenza
Un sistema di condizionamento - Computer Room Air Conditioning (CRAC)
e talora sistemi di raffreddamento (cooling) specifici per i server
Un’infrastruttura per la gestione della sicurezza fisica:
controllo accessi, impianti anti-incendio, ecc.
Una sala per la gestione operativa (Network Operations Center, NOC)
Si stima che il 10% dei consumi mondiali di energia sia dovuto ai DC ed alle
strutture ad essi collegate
3
Datacenter: IT infrastructure and auxiliary plants
Power system
(Emergency generator + UPS)
Rack
(Server+Network+Storage)
Cooling and
Conditioning
4
Datacenter: rack e cabinets
Il cabinet è l’armadio che ospita lo scaffale
(rack) nel quale sono installati i server e gli
altri dispositivi IT (switch, storage, ecc. …)
Le dimensioni di rack e cabinet sono
specificate dallo standard EIA 310D
Lo spazio verticale all’interno di un cabinet è
espresso in modular units (U), anche dette
rack units (RU)
Altezze tipiche: 24U/25U e 42U
1 rack unit = 1.75 inches = 4.45 cm
5
Datacenter: dimensioni di rack e cabinet
Il cabinet comprende la scaffalatura interna (rack)
e le pareti esterne
Rack: larghezze standard
19 pollici (48.26 cm) → più diffuso
23 pollici (58.42 cm)
Cabinet: profondità
per server di profondità fino a 28 pollici (71.12 cm)
per server di profondità fino a 33 pollici (83.82 cm)
6
Datacenter: rack
Rack da 25U: vista fronte-retro
7
Server da rack: motivazioni
L’uso di server da rack, rispetto al formato tower, porta in un DC ovvi vantaggi:
Gestibilità: i rack consentono di gestire più facilmente i server e le altre
apparecchiature IT grazie alla prossimità e modularità e gestione dei cavi fornite
dai rack
Consolidamento: i rack consentono di ridurre al minimo l'ingombro, aumentando
al tempo stesso la densità (problema per il condizionamento)
Sicurezza: l’organizzazione in rack consente livelli superiori di sicurezza fisica, ad
esempio porte con un sistema di chiusura e pannelli laterali di acciaio,
consentono una maggiore protezione dei sistemi da manomissioni ed accessi
non autorizzati
Espandibilità: i rack consentono ai clienti una maggiore facilità di espansione
Modularità: i rack sono conformi a standard industriali che facilitano la
realizzazione del cablaggio e la possibilità di integrare apparati di fornitori diversi
8
Esempi di configurazioni di server da rack
Caratteristiche
IBM System x3650 M4 7915
HP ProLiant DL380 Gen9
E5-2650v3
DELL PowerEdge R630
CPU
Intel Xeon E5-2680
2,70GHz (64-bit)
Intel Xeon E5-2650 v3
2,30 GHz (64-bit)
Intel Xeon E5-2640 v3
2,60 GHz (64-bit)
Numero di core
8
10
8
Numero di CPU
1 / max 2
2 / max 2
1 / max 2
RAM slot
24 DDR3 SDRAM
24 DDR4 SDRAM
24 DDR4 SDRAM
RAM montata
8 GB
32 GB
16 GB
RAM massima
24*4=96 GB UDIMM o
24*32=768 GB LRDIMM
24*16=384 GB RDIMM o
24*32=768 GB LRDIMM
24*16=384 GB RDIMM o
24*32=768 GB LRDIMM
Storage controller
Serial Attached SCSI (SAS)
Memorie di massa
6 slot da 3,5” SATA o
8/16 slot da 2,5” SAS
(no HDD nella config. base)
8 slot 2,5” (SFF)
8 slot 2,5” (SFF)
Schede di rete
4x1Gb Ethernet Intel I350AM4
4x1Gb HP Embedded +
2x10Gb-T Flexible LOM
4x1Gb Ethernet Broadcom 5720
Schede di controllo remoto
Integrated Management IMM2
HP iLO
Intelligent Platform Management
Interface (IPMI)
Dimensione
2U
2U
1U
9
Rack: switch KVM
Per l’accesso diretto ai server, un rack può ospitare una console KVM
(keyboard, video, mouse) collegata agli ingressi di I/O dei server (VGA per il
video ed USB o PS2 per tastiera e mouse) attraverso uno switch KVM
Lo switch KVM consente di commutare il controllo su uno qualsiasi dei server
del rack
Nei datacenter moderni, al controllo da console si preferisce il controllo
remoto tramite interfaccia di gestione (iLO, IPMI, ecc.) che consente l’accesso
remoto alla console ed il controllo completo del sistema di alimentazione
10
Datacenter: pavimentazione e canaline per il cablaggio
Overhead
Cable Tray
Floor Tile
Perforated
Floor Tile
11
Datacenter standard: TIA-942
Telecommunications Infrastructure Standard for Data Centers
Approvato ad aprile 2005 da ANSI ed EIA
Definisce i requisiti e le regole fondamentali per il progetto e la realizzazione di data
centers e server room
Fornisce delle linee guida per la organizzazione delle cosiddette work areas
Entrance Room (ER)
Operations Center (OC), Offices and Support Rooms
Telecommunications Room (TR)
Computer Room (CR)
Main Distribution Area (MDA)
→ Main Cross-connect (MC)
Horizontal Distribution Area (HDA)
→ Horizontal Cross-connect (HC)
Zone Distribution Area (ZDA)
→ Zone Outlet (ZO) or Consolidation Point (CP)
Equipment Distribution Area (EDA)
→ Equipment cabinets and racks
12
TIA-942: basic datacenter organization
13
TIA-942: reduced datacenter organization
In small scale datacenters:
Main Cross-connect and Horizontal Cross-connect can be consolidated in a single
Main Distribution Area, possibly as small as a single cabinet or rack
Telecommunications Room for cabling to the Support Areas and the Entrance Room
may also be consolidated into the Main Distribution Area
14
TIA-942: large datacenter organization
Multiple Entrance Rooms
All other parts are replicated for redundancy
15
TIA-942: tipologie di cavi previsti dallo standard
Cavo UTP da 100 Ω (ANSI/TIA/EIA-568-B.2)
UTP Categoria 6 (ANSI/TIA/EIA-568-B.2-1)
Fibra ottica multimodale (ANSI/TIA/EIA-568-B.3) da 62.5/125 µm o 50/125 µm
Fibra ottica multimodale da 50/125 µm ottimizzata per laser da 850 nm
(ANSI/TIA-568-B.3-1)
Fibra ottica monomodale (ANSI/TIA/EIA-568-B.3)
Cavo coassiale da 75-ohm
Telcordia Technologies GR-139-CORE
16
TIA-942: Horizontal cabling
Horizontal cabling is the cabling from the Horizontal Crossconnect (HC)
in the Main Distribution Area (MDA) or Horizontal Distribution Area (HDA) to the
outlet in the Equipment Distribution Area (EDA) or Zone Distribution Area (ZDA)
Backbone cabling includes cabling from MDA to ER and HDA
17
Horizontal cabling: max length
The maximum horizontal distance is 90 m independent of media type
The maximum channel distance including equipment cords is 100 m
The maximum cabling distance in a data center not containing a horizontal
distribution area is:
300 m for an optical fiber channel including equipment cords
100 m for copper cabling including equipment cords
18
Datacenter: rack cabling
19
Cabling: patch panels
I collegamenti tra le varie aree del datacenter sono attestati in maniera fissa su appositi
pannelli di permutazione (patch panel) sia nel caso di collegamenti in rame (UTP) che in fibra
ottica
Il collegamento tra i patch panel e le porte degli apparati attivi (e.g. switch) è effettuato
mediante cavi connettorizzati ad entrambi i lati (patch cords)
Le modalità di collegamento dei cavi ai patch cord dipendono dalla marca del patch panel
Nelle configurazioni con Top-of-Rack switch, i server sono spesso collegati allo switch ToR
direttamente, senza un patch panel
Patch panel per cavi UTP: vista anteriore
Patch panel per cavi UTP: vista posteriore
20
Datacenter: raised floor
A raised floor consists of a gridded metal framework or substructure
of adjustable-height supports (called "pedestals") that provide support
for removable (liftable) floor panels (tiles),
which are usually 2×2 feet or 60×60 cm in size
A void space is created below the floor for establishing pathways for
piping, wires, cable, as well as to uniformly distribute conditioned air
Many types of commercially available floors exist that offer a wide range
of structural strength and loading capabilities
Stringerless raised floors
Consists of an array of pedestals that provide the necessary height for routing cables
and also serve to support each corner of the floor panels
No mechanical attachments between the pedestal heads
"Under Floor Cable Runs Tee" by Robert.Harker
Pros: Maximum accessibility to the space under the floor
Cons: significantly weaker than stringered raised floors
Stringered raised floors
Consists of a vertical array of steel pedestal assemblies uniformly spaced
on two-foot centers and mechanically fastened to the concrete floor
Structural platforms
Consists of members constructed of steel angles or channels that are welded
or bolted together to form an integrated platform for supporting equipment
Structural platforms may or may not contain panels or stringers
Pros: permits equipment to be fastened directly to the platform
21
Datacenter: racks layout
• Racks form rows separated by aisles
• Typical hot-and-cold aisle layout:
• Servers in adjacent rows face-to-face
• Air conditioning systems, positioned
around the perimeter of the room
or at the end of hot-aisles, push
cold air under the raised floor
• Cold air flows from the raised floor
through perforated tiles
• Cold aisles are 2 floor tiles large
• Standard floor tile size: 60x60 cm
• Typical cold aisle width: 120 cm
• Typical hot aisle width: 90 cm
22
Datacenter: aisle pitch
Per aisle pitch si intende la distanza dal centro di un’isola fredda al centro
dell’isola fredda adiacente
Typical cold aisle width:
4 feet (≈ 120 cm)
Typical hot aisle width:
3 feet (≈ 90 cm)
Space left for rack depth:
42 inches = 3.5 feet (≈ 105 cm)
Typical aisle pitch:
7 tiles → 14 feet (≈ 420 cm)
Seven-tile aisle pitch
23
Datacenter: condizionamento (1)
Heating, ventilation, and air conditioning (HVAC) units push cold air under the raised floor
24
DC: condizionamento (2)
Obiettivo del sistema di condizionamento: mantenere condizioni operative ottimali per l’IT
linee guida fornite dall’American Society of Heating, Refrigeration and Air-Conditioning Engineers
(ASHRAE) Technical Committee 9.9
http://tc99.ashraetcs.org/documents/ASHRAE_Extended_Environmental_Envelope_Final_Aug_1_2008.pdf
Range di temperature: 18 – 27 °C (dove è misurata ?)
Il sistema di condizionamento smaltisce il calore prodotto dalle apparecchiature IT e lo
disperde nell’ambiente circostante il DC
I consumi energetici del sistema di condizionamento dipendono da:
la quantità di calore prodotta dalle apparecchiature IT
la differenza di temperatura tra il DC e l’ambiente esterno
Fino ad oggi si progettavano impianti a tutt'aria
impianti di climatizzazione per 1.500 / 2.000 W*m2
Tendenza recente: aumentare la densità degli apparati nella computer room
questo aumenta i requisiti richiesti all’impianto di condizionamento
Negli impianti più recenti il freddo è fornito in parte con aria ed in parte con acqua
maggiori difficoltà nel progetto e nella realizzazione
Per motivi di sicurezza cavi di potenza su canaline sospese e non a terra
25
Il layout con isole calde e fredde ha come obiettivo quello di minimizzare il mix tra flussi di aria fredda e
calda e così aumentare il rendimento dell’impianto di condizionamento
Se una parte significativa del flusso caldo si mischiasse con il flusso freddo, il sistema di condizionamento
dovrebbe pompare aria a temperatura ancora più bassa per ottenere lo stesso effetto di raffreddamento
La parte bassa di un rack va riempita con gli apparati più pesanti (per motivi di stabilità)
e che producono più calore (più vicini al flusso di aria fredda che sale dal pavimento)
Se un rack non è completamente riempito, è opportuno riempire le posizioni vuote con blanking panel che
impediscono all’aria calda di fuoruscire dal lato anteriore del rack
GOOD
Blanking panels
BAD
26
Inefficienze del sistema di condizionamento
L’aria fredda che emerge dal pavimento rialzato attraverso le piastrelle perforate non entra nei rack ma viene indirizzata
direttamente nella unità di raffreddamento CRAC
Questo comporta una notevole perdita di efficienza dell’impianto di condizionamento
Soluzioni: “contenimento” attraverso barriere di separazione che impediscono il mix di flussi di aria calda e fredda
27
DC: conditioning (5)
Cooling containment solutions
prevent hot and cold air flows to mix by means of physical barriers
28
Thermal analysis
Compare temperatures without and with cold-aisle containment
29
Datacenter: sistema UPS
Scopo primario di un UPS: fornire con continuità nel tempo (cioè
senza interruzioni) energia elettrica alternata agli apparati IT
Un UPS:
fornisce energia elettrica alternata in caso di mancanza di
fornitura dalla rete (black-out)
per i pochi minuti necessari ad avviare il generatore di emergenza
(gruppo elettrogeno)
elimina difetti presenti nella energia fornita dalla rete
sovratensioni, cadute, variazioni di frequenza, ecc.
Diverse tipologie di UPS:
Statici (con batterie)
Dinamici (a volano o flywheel)
Per garantire la continuità di funzionamento del DC in presenza
di black-out occorrono sistemi di generazione di emergenza
Gruppo elettrogeno a motore diesel
30
DC: Power Usage Effectiveness (PUE)
L’indice PUE di un DC indica quanta potenza esso richiede complessivamente
per funzionare rispetto alla sua sola componente IT
L’energia in eccesso è principalmente consumata dai sistemi di condizionamento
ed alimentazione di emergenza del datacenter
Idealmente il PUE dovrebbe essere 1, in realtà per DC non progettati con criteri di
efficienza energetica può valere anche 3 o più
Oggi si riescono a realizzare DC con PUE tra 1.8 ed 1.2
31
Datacenter e livelli di affidabilità: Tier 1, 2, 3 e 4
Definiti da Uptime Institute
Uptime Institute LLC is a consortium of companies
based in Santa Fe, New Mexico,
offering professional-services related to the
design and operation of datacenters since 1993
Tier 1
Basic level of data center reliability
Errors and failures in the systems and
equipment lead to a malfunction
of the entire data center
Also, the data center is interrupted
for maintenance and repair works
No redundant power supplies and
no uninterruptible power supply (UPS)
Uptime: 99.671% → Downtime in 1 year: 28.8 hours
32
Tier 2
Small level of redundancy and
little excess capacity
Susceptible to outages due to planned
and unplanned failures
of the equipment in the data center
Technical repair work requires a stop
in data center
Redundant power supplies
Cabling with raised floor
Uptime: 99.749% → Downtime in 1 year: 22 hours
33
Tier 3
Allows for repair and maintenance work
without stopping the data center
All IT equipment must be dual-powered
Redundant power supplies,
cooling and
uninterruptible power supply (UPS)
34
Tier 4
Fault-tolerant data center
with redundancy of all systems
Allows scheduled and unscheduled work
without stopping the data center
Redundant power supplies and
redundant uninterruptible power supply (UPS)
All cooling equipments independently
dual-powered, including chillers and heating,
ventilating and air-conditioning (HVAC)
systems
35
Datacenter cabling: redundancy
Redundancy is required to obtain a
higher tolerance to faults
Tier 2, 3 and 4 datacenters have to
be designed by duplicating facilities
and connections
36
Datacenter modulari: Container-DC
Unità di composizione modulare: container
Un datacenter in container necessita solo di:
Alimentazione elettrica
Collegamento di rete esterno
Piccoli (4 rack, consumo < 1MW)
medi (10 rack, 1-4 MW), grandi (20 rack, > 4MW)
Il container è dotato di proprio impianto di
condizionamento termico
Elevato rendimento (PUE ≈ 1,1)
Utilizzabile per datacenter di grosse dimensioni
Modular Data Center (MDC)
Adatto anche per applicazioni di emergenza
Mobile Data Center
37
Datacenter: applicazioni ed infrastrutture
L’architettura della infrastruttura di rete di un datacenter, così come altre sue componenti
(i server, lo storage, il raffreddamento, ecc.), sono influenzate dalle applicazioni
In base alle applicazioni, occorre distinguere tra:
Datacenter commerciali e per Cloud Computing
Es: Google, Facebook, Amazon, Microsoft Azure, ….
Datacenter per applicazioni scientifiche (HPC, Grid Computing)
OLCF: Oak Ridge Leadership Computing Facility
ALCF: Argonne Leadership Computing Facility
XSEDE: Extreme Science & Engineering Discovery Environment
NWSC: National Center for Atmospheric Research Wyoming Super Computing Center
Per applicazioni di calcolo scientifico parallelo, la latenza è un fattore cruciale e pertanto si
adottano, a fianco della infrastruttura Ethernet general-purpose, tecnologie di rete che
consentono comunicazioni a bassa latenza → Es. Infiniband
I sistemi di raffreddamento dei datacenter per HPC devono essere in grado di far fronte ad
una maggiore densità di potenza → raffreddamento ad acqua
Datacenter commerciali: 1-6 kW/rack
Datacenter HPC: fino a 30 kW/rack
38
Esempio di organizzazione di un piccolo datacenter
Estensione di circa 180 m2
73 server racks to form the EDA
6 racks form the MDA
Arrangement of cabinets with
alternance of hot and cold aisles
MDA
39
Datacenter della Università di Napoli Federico II
Si trova nel campus di Monte S.Angelo
Finanziato dai progetti SCOPE, ReCAS
ed ATLAS
33 rack
304 server blade DELL M600
19 server DELL Power Edge 1950
10 server DELL Power Edge 2950
connessi in FC al sistema SAN
SAN
EMC2 (100 TB)
Dell Equallogic PS5000XV (24 TB)
40
Alcuni esempi di datacenter nel mondo
Google
http://webodysseum.com/technologyscience/visit-the-googles-data-centers/
Explore a Google data center with Street View
Google container data center tour
Inside a Google data center
Microsoft
Windows Azure Data Centers, the 'Long Tour‘
Facebook
Facebook Data Center
Datacenter Networking @ Facebook
How Facebook designed the data centre from scratch - Marco Magarelli
Softlayer
SoftLayer Datacenter Tour
Blender 3D animation on data center infrastructure building process
41
Open Compute Project
The Open Compute Project is an organization that shares designs of data center
products among companies, including:
Facebook, Apple, Microsoft, Rackspace
Cisco, Juniper Networks
Goldman Sachs, Fidelity, Bank of America
Components of the Open Compute Project include:
Open racks have the same outside width (600 mm) and depth as standard 19-inch
racks, but are designed to mount wider chassis with a 537 mm width (≅ 21″)
This allows more equipment to fit in the same volume and improves air flow
Compute chassis sizes are defined in multiples of an OpenU, which is 48 mm,
slightly larger than the typical Rack Unit
Server compute nodes (based on Intel or AMD processors)
Open network switch
Open Vault storage building blocks offering high disk densities
277 VAC power distribution
42

Datacenter-1 - Università degli Studi di Napoli Federico II

Transcript

Documenti analoghi

Scarica la nostra Brochure - V

Il DataCenter Lepida

Fujitsu on the Road

Brochure illustrativa

Virtual Datacenter

infinity - b.CLOUD

L`internet provider si fa la sua nuvola

Documento di sintesi degli intenti del progetto

Gian Pietro Camisa

OLTRE 50 ANNI DI ESPERIENZA ……AL SERVIZIO DEL CLIENTE!