412 comp idt okpaola.indd

COMM
DATA TRANSMISSION
Ethernet e RapidIO
a confronto
Barry Wood
Applications engineer
IDT Technologies
Un’analisi dettagliata di pregi e difetti
delle due tecnologie di trasmissione
R
apidIO, analogamente a Ethernet, è un sistema di trasmissione
che scambia pacchetti su una varietà di mezzi trasmissivi.
RapidIO supporta messaggi e operazioni di lettura/scrittura semantica, consentendo alle operazioni di controllo e a quelle di gestione
dei dati di utilizzare il medesimo collegamento fisico: una caratteristica che migliora l’efficienza e semplifica il progetto del sistema.
Sviluppata interamente per minimizzare la latenza, la tecnologia
RapidIO è stata ottimizzata per essere realizzata e gestita direttamente tramite hardware.
I collegamenti RapidIO garantiscono la consegna dei pacchetti,
anche in presenza di fenomeni di congestione e di errori di trasmissione, tramite semplici meccanismi di controllo del flusso
(dei dati) e di correzione degli errori. Questi meccanismi vengono
realizzati con dei brevi “simboli di controllo”, specifici per il tipo di
collegamento utilizzato. La maggior parte dei simboli di controllo
possono essere inclusi all’interno dei pacchetti: ciò permette di
ridurre al minimo la latenza del percorso di retroazione, necessario
per garantire una trasmissione affidabile dei pacchetti. Ethernet è
da sempre un mezzo trasmissivo soggetto a perdite e richiede protocolli di supporto, come il TCP (Transmission Control Protocol), al
fine di garantire un servizio di trasmissione affidabile. I meccanismi
di controllo del flusso utilizzati normalmente da Ethernet sono protocolli di rete che controllano la velocità di trasmissione basandosi
sui pacchetti persi, dato che questo è il modo più efficace per ottenere un throughput accettabile in una rete estesa a livello globale.
Di recente si è cominciato a parlare del concetto di “Ethernet senza
perdite”. Ethernet senza perdite (Lossless Ethernet) è nota anche
come “Data Center Ethernet” (DCE). Ethernet senza perdite riduce
la perdita di pacchetti, dovuta a congestioni che si verificano nella
rete Ethernet, realizzando un controllo del flusso a livello di collegamento. Questa soluzione permette di aumentare il rendimento
generale della rete, in quanto il numero dei pacchetti persi si riduce
notevolmente. Ethernet senza perdite, in caso di congestione, si
comporta in maniera simile a RapidIO.
chip, lo scambio completo può richiedere meno di 300 ns. Ethernet
senza perdite è in realtà una denominazione impropria, in quanto i
pacchetti possono ancora essere persi a causa di errori di trasmissione. Data Center Ethernet, pertanto, continua a richiedere engine
di scarico dei pacchetti accumulati (offload) e/o stack software, che
sono causa di una latenza maggiore nella consegna del messaggio.
Ad esempio, il protocollo Fibre Channel permette la correzione
degli errori di trasmissione nello standard FCoE. Questa attività di
correzione degli errori, tuttavia, aggiunge molta latenza rispetto alla
tecnologia RapidIO. Ciò compromette in maniera significativa l’utilizzo delle risorse e le prestazioni del sistema. Per garantire velocità
di trasmissione elevate, alcuni gruppi di lavoro legati agli standard
Ethernet hanno pensato di includere nel circuito Ethernet il meccanismo di protezione degli errori FEC (Forward Error Correction).
Sebbene questo metodo riduca di molto la probabilità di errore,
esso produce una latenza maggiore generata a ogni passaggio da
un dispositivo all’altro all’interno della rete.
Senza perdite?
RapidIO garantisce la consegna dei pacchetti su qualsiasi collegamento. Nel caso di una fibra ottica da 10 Gbps lunga 100 m, il
recupero può essere ottenuto grazie allo scambio di tre simboli di
controllo, in circa 2,5 microsecondi. Per i collegamenti da chip a
Due mercati Ethernet
Con un significativo cambio di direzione, la comunità Ethernet ha
suddiviso il mercato Ethernet in due categorie:: Internet e Data
Center. Nell’ambito della rete globale chiamata Internet, un controllo del flusso a livello di rete consente di ottenere un throughput più
CPS-1616 è uno switch Serial RapidIO gen 2 a 16 porte e 16 canali di IDT
68 - ELETTRONICA OGGI 412 - SETTEMBRE 2011
DATA TRANSMISSION
elevato rispetto a un controllo del flusso a livello di collegamento.
I tempi di latenza di Internet e la dinamicità della rete rendono il
controllo del flusso a livello di rete la strategia più efficace per il
controllo del flusso. La maggior parte della tecnologia Ethernet è
la Internet Ethernet.
La tecnologia Internet Ethernet dipende dalla potenza di elaborazione delle piattaforme di rete quali switch e router. Con questi
dispositivi, le unità di elaborazione di rete (Network Processor
Units, NPU) controllano il traffico dei dati affinché sia conforme agli
accordi sulla qualità del servizio SLA (Service Level Agreements,)
e adottano protocolli di rete come MPLS (Multi Protocol Label
Switching). La figura 1 illustra lo schema a blocchi di un tipico
router/switch per Internet Ethernet.
COMM
lizzati buffer che ottimizzino la schedulazione al fine di aumentare
il throughput e ridurre i tempi di latenza. Idealmente, i buffer vanno
gestiti in modo da garantire che i flussi ad alta priorità procedano
senza intoppi. Segue un confronto delle due strategie di controllo
del flusso: RapidIO e DCE.
Una strategia completa per il controllo del flusso
RapidIO attua una completa strategia di controllo del flusso per
risolvere situazioni di congestione a breve, medio e lungo termine.
I meccanismi RapidIO per il controllo del flusso consentono a un
trasmettitore di saturare completamente i buffer del ricevitore.
Questo è importante per diverse ragioni:
Trasmissione di pacchetti senza perdite
Si noti che in una piattaforma di rete Internet (router o
switch) vi sono diverse connessioni a “corto raggio” tra i
chip. È possibile ridurre la latenza di questi collegamenti
a corto raggio mediante semplici meccanismi di controllo
del flusso, finalizzati a minimizzare la perdita dei pacchetti.
Val la pena sottolineare il fatto che i principali produttori di
switch e router per Internet Ethernet non utilizzano Ethernet
come unica tecnologia di interconnessione per le proprie
piattaforme di rete. Invece, standard di interconnessione
come Serial Peripheral Interconnect (SPI), Interlaken e
RapidIO dispongono di meccanismi di controllo del flusso Fig. 1 - Schema a blocchi di un router per Internet
a bassa latenza al fine di garantire una trasmissione dei
pacchetti efficace e senza perdite. I circuiti integrati di uno
switch Internet Ethernet gestiscono entrambe le funzioni di com- • più pacchetti contiene il chip di uno switch nei propri buffer,
più possibilità ci sono di aumentare il throughput, instradando
mutazione (switch) e di instradamento (router). Ciò non vale per gli
i pacchetti verso le porte di uscita che non sono congestionate.
switch DCE a più bassa latenza e tali funzioni vengono svolte da
Ciò dovrebbe consentire il massimo throughput possibile con
dispositivi collegati direttamente agli switch Data Center Ethernet.
tempi di latenza minimi;
Questo rappresenta un cambiamento significativo rispetto alle
semplici architetture di trasmissione e ricezione che caratterizzano • il trasmettitore e il ricevitore hanno concordato il numero di
pacchetti che possono essere trasmessi su ciascun canale priola maggior parte dei prodotti Internet Ethernet di largo consumo.
ritario/virtuale. Il trasmettitore può utilizzare questa informazione
L’avvento di Ethernet senza perdite segna quindi la divisione
per schedulare la trasmissione dei pacchetti al fine di ottimizzare
del mercato Ethernet in dispositivi Internet Ethernet e dispositivi
la latenza di sistema;
Data Center Ethernet. Il problema è che i dispositivi Data Center
Ethernet non beneficiano della stessa economia di scala dei dispo- • il meccanismo di controllo della latenza consente di minimizzare
le dimensioni del buffer RapidIO, pur garantendo la consegna
sitivi Internet Ethernet.
dei pacchetti e un throughput coerente con la massima velocità
Throughput, latenza e controllo del flusso
supportata dal mezzo trasmissivo.
In una rete data center, la latenza legata alle funzioni di controllo, Il controllo del flusso prioritario basato sullo standard IEEE 802.1p
come la modifica di file e la conferma dei dati trasmessi, può utilizza un meccanismo XON/XOFF che deve essere attivato prima
rappresentare il vero limite alla capacità di sistema. In maniera che il ricevitore possa saturare lo spazio del buffer. Dalla figura 2,
analoga, la latenza del sistema di controllo per le funzioni di bilan- si capisce perché la capacità di incorporare nei pacchetti le inforciamento del carico nei server può determinare l’utilità e l’efficien- mazioni di controllo del flusso a livello di link è un vantaggio chiave
za dell’intero sistema. In questo contesto, i meccanismi di controllo per RapidIO. Al punto 1, il ricevitore decide di disattivare una spedel flusso dovrebbero consentire ai pacchetti di controllo di pro- cifica priorità. Tuttavia, il Max Frame giallo (punto 2) ha iniziato la
pagarsi non appena possibile. In caso di conflitto, andrebbero uti- trasmissione, impedendo la trasmissione del frame PAUSE XOFF.
69 - ELETTRONICA OGGI 412 - SETTEMBRE 2011
COMM
DATA TRANSMISSION
Ciò permette al corrispondente Max Frame giallo di essere ricevuto
dal ricevitore. Quando il frame PAUSE XOFF è stato ricevuto dal
trasmettitore, un problema simile si può verificare al punto 3, in cui
un Max Frame ha già iniziato la trasmissione. La quantità minima di
informazioni ricevuta dopo XOFF è trasmessa –questa viene detta
“skid” (slittamento), quindi i collegamenti Ethernet devono tenere in
considerazione due pacchetti di dimensione massima.
Per un cavo da 10 Gbps lungo 100 m, è stata calcolata una lunghezza di skid di circa 10,1 kB (http://www.ieee802.org/1/files/public/
docs2008/bb-pelissier-pfc-proposal-0508.pdf). Questo calcolo considera una lunghezza di pacchetto minima pari a 2000 byte. Se
vengono utilizzati altri protocolli di memorizzazione, ad esempio
FCoE con una lunghezza del pacchetto MTU (Maximum Transfer
Unit) di 2,5 kB oppure iSCSI con una MTU di 9 kB, la lunghezza di
skid aumenta. Alcune migliorie tecnologiche, come Power Efficient
Ethernet (Ethernet a risparmio energetico), possono contribuire ad
aumentare ulteriormente la lunghezza di skid.
Importanza della lunghezza di skid
In interfacce di rete (Network Interface Card, NIC) e in processori
con qualche gigabyte di DRAM, la lunghezza di skid non è un
problema. Per le piccole memorie embedded presenti nei circuiti
integrati degli switch, la lunghezza di skid è invece un parametro
da tenere in considerazione. Una lunghezza di skid elevata produce effetti rilevanti per i progettisti di switch Ethernet e per gli utenti
di Data Center Ethernet:
• per evitare di inviare un XON seguito immediatamente da un
XOFF, prima di attivare un flusso deve essere disponibile una
lunghezza di skid superiore a quella dello spazio buffer. Ciò
implica che la trasmissione dei pacchetti per determinati flussi
sarà intermittente e genererà un funzionamento irregolare della
rete;
• non è garantito che i pacchetti di skid inviati abbiano la stessa
priorità che viene disattivata. Pertanto, una porzione del buffer
riservata allo skid non contiene pacchetti: ciò aumenta la latenza
e riduce il throughput;
• per ridurre la quantità di memoria richiesta da una porta
Ethernet, un metodo per ottimizzare il sistema è raggruppare
insieme più priorità per il controllo del flusso. Questo può portare a un blocco di inizio linea, con relative riduzioni di throughput
e aumenti dei tempi di latenza per tutto il traffico relativo a quel
gruppo di priorità.
La schedulazione degli algoritmi di trasmissione dei pacchetti può
essere resa inefficace da un cattivo controllo del flusso.
Anche se il controllo del flusso a breve termine non è mai stato
il punto forte di Ethernet, lo è invece stato il controllo del flusso a
lungo termine. I protocolli software di controllo del flusso si basano generalmente sul riconoscimento dei pacchetti persi quando
i dispositivi Internet Ethernet scartano pacchetti per problemi di
Fig. 2 - Skid ddeii pacchetti
Fi
h i nella
ll tecnologia
l i EEthernet
h
congestione. Poiché un sistema DCE non scarta pacchetti in caso
di congestione, può essere utilizzato un controllo del flusso a lungo
termine basato sullo standard 802.1Q Virtual LAN.
Le specifiche Gen2 di RapidIO hanno creato meccanismi di controllo del flusso di tipo XON/XOFF e basati sulla velocità e sui crediti,
per flussi costituiti da pacchetti Data Streaming. Questo metodo è
stato progettato per sistemi con più mittenti e un unico destinatario.
Il protocollo permette ai mittenti di comunicare le informazioni che
hanno a disposizione e al destinatario di gestire e schedulare i
mittenti da attivare e le rispettive velocità di trasmissione. Il meccanismo di controllo del flusso può essere gestito non solo a livello
software ma, grazie al formato semplice dei pacchetti, anche a livello hardware. Quando utilizzati correttamente, questi meccanismi di
controllo del flusso possono evitare congestioni a lungo termine e
consentire alle applicazioni di ottimizzare le prestazioni.
Eliminare la congestione
Un possibile approccio ai problemi della congestione di rete e del
controllo del flusso è comunicare l’ubicazione della congestione di
rete. Questa azione consente ai circuiti che generano pacchetti di
programmare l’instradamento dei pacchetti verso aree non congestionate della rete. RapidIO supporta meccanismi per comunicare
l’ubicazione della congestione all’interno della rete. RapidIO Gen2
definisce un meccanismo a bassa latenza, basato su simboli di
controllo, denominato Virtual Output Queue (VoQ) Backpressure.
VoQ Backpressure definisce un metodo gerarchico, realizzabile
fisicamente, in grado di respingere la congestione verso la periferia
della rete. Questa soluzione ha due vantaggi:
• rallenta i flussi che contribuiscono a creare punti di congestione, liberando le risorse del sistema;
• incoraggia la trasmissione di altri flussi che non contribuiscono
alla congestione, aumentando il throughput ed equilibrando il
carico sul sistema.
70 - ELETTRONICA OGGI 412 - SETTEMBRE 2011
DATA TRANSMISSION
Nel 2010, un gruppo di lavoro IEEE ha iniziato a definire un meccanismo simile, noto come IEEE 801.3Qau Congestion Notification
for Local and Metropolitan Area Networks. Non è chiaro se questo
meccanismo sarà abbastanza semplice da essere supportato da
dispositivi che siano parte dell’ecosistema DCE.
Un interessante articolo di Stuart Cheshire, originariamente pubblicato nel 1996 con il titolo provocatorio “È la latenza, sciocco”
(http://www.stuartcheshire.org/rants/Latency.html): anche se si
riferisce alla latenza nel mondo Internet Ethernet di largo consumo, i suoi punti chiave restano comunque validi anche oggi:
• avere più banda è facile;
• consumare meno banda è facile;
• se la latenza è eccessiva, non esistono soluzioni.
Ethernet per il mercato di massa, Internet Ethernet, mira a offrire
più banda a costi più bassi.
Data Center Ethernet possiede caratteristiche che permettono
di aumentare il throughput e di migliorare il comportamento di
Internet Ethernet nell’ambito del data center. Ma queste caratteristiche incidono negativamente sulla progettazione dei chip per
applicazioni Ethernet e richiedono software e/o motori di offload
per la correzione degli errori di trasmissione. Il mercato di Data
COMM
Center Ethernet è molto più piccolo di quello di Internet Ethernet,
pertanto l’economia di scala che si ottiene per Internet Ethernet
utilizzando una tecnologia non costosa non è applicabile anche
per Data Center Ethernet.
Le applicazioni che adottano RapidIO richiedono una latenza
bassa e prevedibile per una comunicazione da chip a chip, da
scheda a scheda, su backplane e da box a box. Le aziende leader
del settore (ad esempio, Ericsson, EMC e Mercury) assicurano
che RapidIO continuerà ad avere una bassa latenza e un elevato
throughput al fine di garantire il raggiungimento delle prestazioni
attese da queste applicazioni.
RapidIO continuerà a mantenere la stessa banda di altre interconnessioni, pur rimanendo l’architettura più efficiente e a più bassa
latenza disponibile per connessioni da chip a chip, da scheda a
scheda, su backplane e su cavo / in fibra fino a 100 m. ■
Per un confronto dettagliato tra le due tecnologie, RapidIO ed
Ethernet, si rimanda all’articolo “System Interconnect Fabrics:
Ethernet Versus RapidIO Technology”, disponibile sul sito
www.rapidio.org
Prodotti e soluzioni,
innovazioni e tendenze
-BGJFSBMFBEFSFVSPQFBEFMMBVUPNB[JPOFJOEVTUSJBMF
VOFTQFSJFO[BUVUUBEBWJWFSFy
t4JTUFNJEJDPOUSPMMP
t*1$
t4JTUFNJFUFDOJDBEJB[JPOBNFOUP
t%JTQPTJUJWJEJJOUFSGBDDJBVPNPNBDDIJOB).*
t4JTUFNJNFDDBOJDJ1FSJGFSJDIF
t$PNVOJDB[JPOFJOEVTUSJBMF
T
t4PGUXBSFJOEVTUSJBMJ
PNTQ
D
P
H
t5FDOJDIFEJJOUFSGBDDJB
FTB
XXN
X
T
t5FDOJDBTFOTPSJTUJDB
UJDLFU
71 - ELETTRONICA OGGI 412 - SETTEMBRE 2011
Per ulteriori informazioni contattateci al +49 711 61946-828 oppure a [email protected]