InfiniBand: Potenziare la rete HPC

InfiniBand, una potente piattaforma di in-network computing, si configura come una forza cruciale nella trasformazione del calcolo ad alte prestazioni (HPC), dell'intelligenza artificiale (AI) e delle infrastrutture cloud iperscalabili, offrendo prestazioni impareggiabili. Progettato principalmente per le connessioni lato server, InfiniBand svolge un ruolo cruciale nel facilitare la comunicazione tra server e nel collegare dispositivi di archiviazione e reti. Abbracciata e sostenuta dall'InfiniBand Industry Association, questa tecnologia è emersa come la soluzione di interconnessione predominante nella prestigiosa lista TOP500. In particolare, il 44,4% dei sistemi utilizza InfiniBand per l'interconnessione, superando la tecnologia Ethernet, che rappresenta il 40,4% dei sistemi presenti nella lista. Ora, esploriamo le differenze tra InfiniBand ed Ethernet.

Differenza tra InfiniBand ed Ethernet

Cosa è InfiniBand?

InfiniBand, promosso sotto la guida dell'InfiniBand Trade Association (IBTA), funge da specifica di comunicazione standardizzata. Questa specifica delinea un'architettura di tipo switched fabric appositamente progettata per interconnettere server, apparecchiature di infrastruttura di comunicazione, soluzioni di archiviazione e sistemi embedded nell'ampio scenario di un data center. Questo enfasi sulla standardizzazione garantisce un'integrazione senza soluzione di continuità e una comunicazione efficiente tra componenti diversificati nell'ambiente di rete HPC.

InfiniBand, riconosciuto per la sua elevata larghezza di banda e bassa latenza, vanta impressionanti velocità come FDR a 56Gbps, EDR a 100Gbps, HDR a 200Gbps e NDR a 400Gbps/800Gbps di throughput per secondo con una connessione di larghezza di collegamento 4x. Con entusiasmanti prospettive di velocità ancora più elevate all'orizzonte.

InfiniBand eccelle nella scalabilità, ospitando decine di migliaia di nodi all'interno di una singola subnet, rendendolo la scelta preferita per gli ambienti di calcolo ad alte prestazioni (HPC). Con funzionalità di quality of service (QoS) e failover, InfiniBand è una rete fondamentale per il protocollo di storage non volatile memory express over fabrics (NVMe-oF), insieme a Ethernet, Fibre Channel (FC) e reti TCP/IP. Opta per InfiniBand nel tuo data center per prestazioni e scalabilità senza pari.

Cosa è Ethernet?

Ethernet, concepita da Xerox, Intel e DEC, funge da standard di specifica per LAN (Local Area Network), affermandosi come il protocollo di comunicazione più ampiamente adottato per le reti locali (LAN) con la trasmissione di dati attraverso cavi. Originatasi negli anni '70, Xerox è stata pioniera di Ethernet come tecnologia di comunicazione cablata, collegando dispositivi all'interno di LAN o reti di area vasta (WAN). La sua versatilità si estende al collegamento di vari dispositivi, dai stampanti ai laptop, attraverso edifici, residenze e piccole comunità. L'interfaccia utente amichevole semplifica la creazione di LAN utilizzando solo un router e connessioni Ethernet, incorporando dispositivi come switch, router e PC.

Nonostante la diffusione delle reti wireless in molte località, Ethernet persiste come una scelta prominente per le reti cablate grazie alla sua affidabilità e resistenza alle interferenze. Nel corso degli anni, Ethernet ha subito molteplici revisioni, adattando e ampliando costantemente le sue capacità. Oggi, si presenta come una delle tecnologie di rete più ampiamente utilizzate a livello globale.

Attualmente, l'organizzazione di standard IEEE 802.3, sotto l'egida dell'IEEE, ha emesso standard per le interfacce Ethernet, tra cui 100GE, 200GE, 400GE e 800GE, riflettendo gli sforzi in corso per migliorare e far progredire la tecnologia Ethernet.

 

InfiniBand vs Ethernet

InfiniBand è emerso con l'intento specifico di alleviare il collo di bottiglia nella trasmissione dei dati all'interno di cluster in scenari di calcolo ad alte prestazioni. Nel tempo, si è evoluto in uno standard di interconnessione ampiamente adottato, rispondendo efficacemente alle esigenze moderne. Le principali differenze tra InfiniBand ed Ethernet si manifestano nella larghezza di banda, nella latenza, nella affidabilità della rete e nelle metodologie di networking.

Larghezza di banda

Per quanto riguarda la larghezza di banda, InfiniBand ha sperimentato avanzamenti più rapidi rispetto a Ethernet, guidato principalmente dalla sua utilizzazione in ambienti di calcolo ad alte prestazioni e dalla sua capacità di alleviare il carico della CPU. Al contrario, Ethernet è prevalentemente progettato per l'interconnessione di dispositivi terminali e non richiede le stesse elevate esigenze di larghezza di banda di InfiniBand.

Latenza

Nel campo della latenza di rete, InfiniBand ed Ethernet divergono significativamente nei loro flussi di elaborazione. InfiniBand sfrutta la tecnologia Cut-Through negli switch, riducendo sostanzialmente il ritardo di inoltro a meno di 100 ns. Al contrario, gli switch Ethernet attraversano flussi di elaborazione più lunghi, dovuti alle complessità introdotte da servizi come IP, MPLS e QinQ.

Affidabilità

Nel campo del calcolo ad alte prestazioni, dove la affidabilità della rete è fondamentale, InfiniBand si pone in vantaggio con i suoi formati ben definiti dal livello 1 al livello 4, garantendo una rete senza perdite attraverso il controllo del flusso end-to-end. Al contrario, Ethernet manca di un meccanismo di controllo del flusso basato su scheduling, affidandosi a una maggiore area del chip per memorizzare temporaneamente i messaggi. Questo approccio comporta costi più elevati e un aumento del consumo di energia per Ethernet.

Metodologie di networking

Dal punto di vista della gestione di rete, InfiniBand si dimostra più diretto rispetto a Ethernet, grazie all'integrazione del concetto di Software-Defined Networking (SDN) nel suo design. In InfiniBand, un gestore di subnet esiste su ogni rete di livello 2, facilitando la configurazione dei nodi e il calcolo delle informazioni sul percorso di inoltro. Al contrario, Ethernet richiede voci MAC, protocolli IP e ARP, aggiungendo strati di complessità. Ethernet si affida anche all'invio regolare di pacchetti per gli aggiornamenti delle voci e utilizza il meccanismo Vlan per segmentare reti virtuali e limitarne la scala. Questa complessità introduce sfide, tra cui la potenziale formazione di reti a loop, che richiedono protocolli aggiuntivi come STP.

 

Esplorazione delle offerte InfiniBand

Switch e NIC InfiniBand

In sintesi, il confronto tra InfiniBand ed Ethernet mette in luce i notevoli vantaggi delle reti InfiniBand. Per coloro che stanno considerando l'implementazione di switch InfiniBand nei loro data center ad alte prestazioni, sono disponibili ulteriori dettagli. La rete InfiniBand ha subito rapide iterazioni, progredendo da SDR 10Gbps, DDR 20Gbps, QDR 40Gbps, FDR56Gbps, EDR 100Gbps e ora a HDR 200Gbps e NDR 400Gbps/800Gbps InfiniBand. Questi avanzamenti sono resi possibili grazie all'integrazione di RDMA (Remote Direct Memory Access).

FS offre gli switch di centro dati NVIDIA Quantum™-2 NDR InfiniBand 400G e NVIDIA Quantum™ HDR InfiniBand 200G, disponibili sia in configurazioni gestite che non gestite. Per soddisfare le diverse esigenze dei clienti, gli switch da 400G sono disponibili con opzioni di supporto servizio di uno, tre e cinque anni.

Moduli InfiniBand

InfiniBand DAC

InfiniBand AOC

 

Panoramica degli standard InfiniBand

InfiniBand NDR (Next-Generation Data Rate):

La categoria InfiniBand NDR include trasmettitori e cavi DAC InfiniBand 400Gbase/800Gbase, progettati per essere compatibili con gli switch Mellanox NDR 400Gb come la serie MQM9700/MQM9790. Questi componenti consentono connessioni ad alte prestazioni nel calcolo accelerato da GPU, potenzialmente consentendo di risparmiare fino al 50% dei costi. Sono adatti per il calcolo ad alte prestazioni (HPC), il cloud computing, la rappresentazione di modelli e lo storage in reti InfiniBand 400Gb/800Gb.

InfiniBand HDR (High Data Rate):

La linea di prodotti InfiniBand HDR di FS offre una gamma di soluzioni, tra cui cavi ottici attivi/passivi QSFP56 IB HDR MMF da 200Gb/s e 400Gb/s, cavi in rame direttamente collegati attivi/passivi (DAC), router transceiver ottici e switch da 200G. Moduli e cavi collegano switch come MQM8700/MQM8790 a GPU NVIDIA (A100/H100/A30) e server CPU, nonché adattatori di rete per storage come ConnectX-5/6/7 VPI. Offrono potenziali risparmi fino al 50% e sono vantaggiosi per applicazioni di cluster di calcolo ad alte prestazioni (HPC) accelerato da GPU, inclusa la rappresentazione di modelli, l'intelligenza artificiale (AI), il deep learning (DL) e il networking delle applicazioni NVIDIA in InfiniBand HDR.

InfiniBand EDR (Enhanced Data Rate):

La linea di prodotti InfiniBand EDR comprende cavi AOC EDR QSFP28 100Gbase, DAC EDR, AOC e trasmettitori. Offrono soluzioni economiche per connessioni ad alte prestazioni nel calcolo accelerato da GPU.

InfiniBand FDR (Fourteen Data Rate):

La linea di prodotti InfiniBand FDR include cavi AOC, DAC e trasmettitori InfiniBand 40Gbase QSFP+ FDR10, nonché cavi DAC e AOC InfiniBand 56Gbase QSFP+ FDR. Questi prodotti si integrano senza soluzione di continuità con gli switch Mellanox EDR.

 

Vantaggi di InfiniBand nelle reti di calcolo ad alte prestazioni

L'evoluzione continua delle comunicazioni dati, della tecnologia Internet e della presentazione visiva si basa sui progressi nella potenza di calcolo, nella capacità di archiviazione e nell'efficienza di rete. In questo panorama, la rete InfiniBand emerge come un attore cruciale, offrendo servizi di rete ad alta larghezza di banda, bassa latenza e ridotto consumo di risorse di calcolo grazie al trasferimento del processo di protocollo e del movimento dati dalla CPU all'interconnessione. Questi vantaggi unici posizionano InfiniBand come una soluzione ideale per i data center di calcolo ad alte prestazioni, apportando significativi miglioramenti delle prestazioni in diverse applicazioni come Web 2.0, cloud computing, big data, servizi finanziari, data center virtualizzati e applicazioni di storage.

Nel campo della velocità, InfiniBand non solo ha mantenuto il passo con Ethernet 100G, ma ha anche fatto progressi, offrendo ora opzioni che vanno da switch InfiniBand da 100G/200G a 400G/800G che si integrano perfettamente con i requisiti di prestazioni elevate dell'architettura HPC. La combinazione di elevata larghezza di banda, velocità e bassa latenza negli switch InfiniBand contribuisce a un aumento dell'efficienza del server e della produttività delle applicazioni.

La scalabilità si distingue come un altro vantaggio chiave di InfiniBand, con una singola subnet che supporta fino a 48.000 nodi al livello di rete 2. A differenza di Ethernet, InfiniBand elimina la dipendenza da meccanismi di broadcast come ARP, mitigando le tempeste di broadcast e evitando uno spreco aggiuntivo di larghezza di banda. Inoltre, è possibile associare più subnet con switch e switch, migliorando la flessibilità.

FS, riconoscendo l'importanza del calcolo ad alte prestazioni, offre prodotti InfiniBand costruiti con dispositivi di switch Quantum InfiniBand. Questi prodotti supportano una larghezza di banda non bloccante fino a 16 Tb/s e vantano ritardi da porta a porta inferiori a 130 ns, garantendo un'elevata disponibilità e il supporto di multi-servizi per i data center HPC. Mentre le reti Ethernet rimangono una opzione valida per la trasmissione dei dati distribuendo i carichi di lavoro su dispositivi multipli, FS fornisce una gamma di switch Ethernet a velocità multiple per assistere nella costruzione di reti versatili ed efficienti.

 

Scegliere la rete giusta

InfiniBand ed Ethernet trovano ognuna le proprie applicazioni in scenari distinti. La rete InfiniBand eccelle nel migliorare significativamente i tassi di trasferimento dei dati, ottimizzando così l'utilizzo della rete e alleviando il carico sulle risorse della CPU per l'elaborazione dei dati di rete. Questo vantaggio cruciale posiziona la rete InfiniBand come la soluzione principale nell'industria del calcolo ad alte prestazioni.

Le prestazioni senza pari della rete InfiniBand, unite alla sua innovativa architettura tecnica e al design snodato della rete ad alte prestazioni, permettono agli utenti nei data center di calcolo ad alte prestazioni di ottimizzare le prestazioni aziendali. Riducendo al minimo i ritardi associati agli strati architetturali multipli e facilitando l'aggiornamento senza soluzione di continuità della larghezza di banda di accesso per i nodi di calcolo chiave, la tecnologia InfiniBand svolge un ruolo cruciale nel migliorare l'efficienza operativa complessiva. Con la sua crescente popolarità, ci si aspetta che le reti InfiniBand trovino applicazioni in un'ampia gamma di scenari d'uso in continua espansione.