Italia

Soluzione OSFP NDR Infiniband

Aggiornato il 28 Dic 2023 by
108

La piattaforma NVIDIA Quantum™-2 InfiniBand si è imposta come la scelta principale per l'HPC e i data center cloud di grande dimensioni, offrendo una larghezza di banda ultraelevata, una latenza ultrabassa e una semplificazione delle operazioni e della manutenzione. Quantum™-2 rappresenta un significativo balzo in avanti rispetto ai suoi predecessori, raggiungendo il doppio della velocità delle porte, il triplo della densità delle porte dello switch, il quintuplo della capacità del sistema dello switch e ben 32 volte la capacità di accelerazione dell'HPC dello switch. Sfruttando la topologia Dragonfly+, la rete Quantum™-2 è in grado di raggiungere una notevole capacità di connessione di 400 Gb/s per oltre un milione di nodi in soli tre hop, offrendo a sviluppatori e ricercatori di HPC prestazioni di rete senza precedenti per affrontare le sfide globali.

Switch NVIDIA Quantum™-2 InfiniBand

Lo switch InfiniBand Quantum™-2 NVIDIA comprende due modelli principali: MQM9790-NS2F e MQM9700-NS2F. La loro principale differenza risiede nel metodo di gestione, con NVIDIA QM9700 che presenta un'interfaccia di supporto alla gestione esterna. Entrambi i modelli condividono gli stessi tipi di porte e le stesse velocità. Lo switch della serie NVIDIA QM9700 supporta configurazioni flessibili, con 64 porte 400G o 128 porte 200G. In particolare, NVIDIA QM9700 adotta un design 1U con un singolo pannello di 32 porte OSFP, dove ogni porta OSFP supporta una velocità di 2X400G.

Quantum™-2 è dotato della tecnologia NVIDIA SHARP di terza generazione, garantendo una scalabilità quasi infinita per l'aggregazione dei dati di rete su varie scale. Con una capacità di accelerazione HPC 32 volte superiore rispetto al suo predecessore, la tecnologia SHARP di terza generazione supporta più tenant e applicazioni parallele, garantendo prestazioni ottimali. Caratteristiche chiave come l'accelerazione MPI_Alltoall, il motore hardware MPI tag matching, il controllo avanzato della congestione, l'instradamento dinamico e la rete auto-riparante contribuiscono a migliorare in modo significativo i cluster di calcolo ad alte prestazioni (HPC).

Scheda InfiniBand ConnectX®-7

La scheda di rete InfiniBand ConnectX®-7 NVIDIA (HCA) ASIC offre una velocità di trasmissione dei dati sbalorditiva, pari a 400 Gb/s, supportando 16 corsie di interfaccia host PCIe 5.0 o PCIe 4.0. Utilizzando l'avanzata tecnologia SerDes con 100Gb/s per corsia, l'InfiniBand a 400Gb/s è ottenuta tramite connettori OSFP sia sullo switch che sulle porte HCA. Il connettore OSFP dello switch supporta due porte InfiniBand da 400Gb/s o 200Gb/s, mentre la scheda di rete HCA è dotata di una porta InfiniBand da 400Gb/s. La gamma di prodotti comprende cavi in rame attivi e passivi, transceiver e cavi in fibra MPO. In particolare, nonostante entrambi utilizzino il packaging OSFP, vi sono differenze nelle dimensioni fisiche, con il modulo OSFP lato switch dotato di alette termiche per il raffreddamento.

Soluzione di connessione ottica NDR

Per affrontare la sfida delle connessioni ottiche NDR, le porte degli switch NDR utilizzano OSFP con otto canali per interfaccia, ciascuno dei quali impiega SerDes da 100 Gb/s. Ciò consente tre opzioni di velocità di connessione mainstream: 800G a 800G, 800G a 2X400G e 800G a 4X200G. Inoltre, ogni canale supporta il downgrade da 100Gb/s a 50Gb/s, facilitando l'interoperabilità con i dispositivi HDR di precedente generazione. I cavi e i transceiver della serie 400G NDR offrono diverse scelte di prodotti per la configurazione di sistemi di switch e adattatori di rete, concentrandosi sulle lunghezze dei data center fino a 500 metri per accelerare i sistemi di elaborazione HPC. I vari tipi di connettori, tra cui i cavi passivi in rame (DAC), i cavi ottici attivi (AOC) e i moduli ottici con ponticelli, soddisfano le diverse distanze di trasmissione e i requisiti di larghezza di banda, garantendo una bassa latenza e un tasso di errore di bit estremamente ridotto per le applicazioni di calcolo accelerato ad alta larghezza di banda.

Panoramica della tecnologia transceiver OSFP-SR8-800G InfiniBand

OSFP-SR8-800G FS è un transceiver a 8 canali paralleli multimodali a doppia porta da 2x400Gb/s, con modulazione 100G-PAM4. Questa tecnologia innovativa utilizza due ponticelli in fibra MPO-12/APC multimodali a 4 canali, estendendo la distanza massima di trasmissione a 50 metri. Una caratteristica fondamentale di questo transceiver a doppia porta 2xSR4 è l'incorporazione di due motori di ricetrasmissione interni, che facilitano la realizzazione di 64 porte da 400Gb/s nello switch Quantum™-2 con 32 porte OSFP.

Scenari di utilizzo dei moduli

Il transceiver OSFP-SR8-800G ha molteplici funzioni nell'ecosistema di switch NDR InfiniBand Quantum™-2, collegandosi ad altri switch o alla DPU ConnectX®-7 Adapter/BlueField-3.

    • 1. Switch NDR InfiniBand Quantum™-2 - Switch NDR InfiniBand Quantum™-2

Utilizzando transceiver OSFP-SR8-800G e ponticelli in fibra MPO-12/UPC, gli switch NVIDIA QM9700/QM9790 con porte OSFP si interconnettono alla velocità di 800G (2x400G) entro una distanza massima di trasmissione di 50m.

    • 2. Switch NDR InfiniBand Quantum™-2 - Scheda ConnectX®-7 da 400G (OSFP/QSFP/QSFI9112)

Collegamenti da 800G a 2x400G: Il transceiver OSFP-SR8-800G a doppia porta supporta fino a due adattatori ConnectX®-7 400G e/o DPU, grazie ai ponticelli in fibra multimodale MPO-12/UPC ad attacco diretto. I moduli ottici OSFP-400G-SR4 sono impiegati per le porte OSFP sul lato della scheda di rete ConnectX®-7.

    • 3. Switch NDR InfiniBand Quantum™-2 - Adattatore ConnectX®-7 (OSFP/QSFP112) da 200G/BlueField-3 DPU (QSFP112)

Se abbinato a due ponticelli in fibra MPO con ramificazione 1:2, il transceiver OSFP-SR8-800G a doppia porta supporta fino a quattro adattatori e/o DPU ConnectX®-7 da 200G. Come nello scenario precedente, i moduli ottici OSFP-400G-SR4 sono utilizzati per le porte OSFP, mentre i moduli ottici Q112-400G-SR4 sono impiegati per le porte QSFP112.

In entrambi i moduli OSFP-400G-SR4 e Q112-400G-SR4, vengono attivati solo due canali all'interno del transceiver 400G, stabilendo collegamenti a velocità 200G.

  • 4. Switch NDR InfiniBand Quantum™-2 - Sistemi con GPU DGX H100

Per i sistemi di GPU DGX-H100 con 8 GPU H100 "Hopper", ogni transceiver OSFP-SR8-800G a doppia porta stabilisce due collegamenti ConnectX®-7 da 400G dal DGX allo switch Quantum™-2. Questo approccio semplificato riduce la ridondanza, la complessità e il numero di schede ConnectX®-7 e transceiver rispetto alla configurazione del DGX A100. Il DGX-H100 supporta anche ulteriori opzioni di rete, tra cui fino a quattro ConnectX®-7 e/o due DPU BlueField-3 per l'I/O dello storage utilizzando InfiniBand e/o Ethernet, offrendo versatilità per varie configurazioni di rete.

Transceiver OSFP-400G-SR4 InfiniBand

Introduzione alla tecnologia di transceiver ottico

OSFP-400G-SR4 FS è un transceiver parallelo multimodale SR4 a porta singola confezionato in OSFP con una velocità di 400Gb/s, che utilizza la modulazione 100G-PAM4. Accoppiato con un singolo ponticello in fibra multimodale MPO-12/APC a 4 canali, raggiunge una distanza massima di trasmissione di 50 metri. Se utilizzato con un ponticello in fibra MPO ramificato 1:2, vengono attivati solo due canali sull'estremità ramificata. Questa configurazione unica crea automaticamente una velocità di 200G, riducendo efficacemente il consumo energetico.

Panoramica sull'utilizzo del modulo

Il transceiver OSFP-400G-SR4 svolge un ruolo cruciale nella scheda di rete bus PCIe ConnectX®-7/OSFP da 400 Gb/s, collegandosi a un singolo transceiver OSFP 2x400G a doppia porta da 800 Gb/s (OSFP-SR8-800G) all'interno dello switch Quantum™-2 InfiniBand.

Il transceiver OSFP-400G-SR4 supporta due velocità distinte, 400Gb/s e 200Gb/s, a seconda del tipo di ponticello in fibra utilizzato per la connessione:

  • Modalità 400Gb/s: Accoppiata con un ponticello in fibra MPO-12/APC, questa modalità richiede che il transceiver OSFP-SR8-800G dell'estremità opposta sia accoppiato con due transceiver OSFP-400G-SR4, ciascuno collegato a schede adattatore ConnectX®-7/OSFP da 200 Gb/s.

  • Modalità 200Gb/s: Utilizzando un ponticello in fibra MPO con ramificazione 1:2, il modulo OSFP-400G-SR4 opera a una velocità di 200Gb/s (NIDR200), riducendo automaticamente il consumo di energia poiché vengono attivati solo 2 canali. In questa modalità, il transceiver OSFP-SR8-800G dell'estremità opposta può essere accoppiato con quattro transceiver OSFP-400G-SR4, ciascuno collegato a schede adattatore ConnectX®-7/OSFP da 200 Gb/s.

    • 1. Switch NDR InfiniBand Quantum™-2 - Scheda 2 x 400G ConnectX®-7 (OSFP)

Il transceiver OSFP-SR8-800G a doppia porta, se combinato con due ponticelli in fibra MPO-12/APC ad attacco diretto, può supportare un massimo di due adattatori ConnectX®-7/OSFP. Ogni adattatore utilizza un transceiver OSFP-400G-SR4, raggiungendo una distanza massima di trasmissione di 50 metri.

  • 2. Switch NDR InfiniBand Quantum™-2 - Scheda ConnectX®-7 (OSFP) 4x200G

Analogamente, il transceiver OSFP-SR8-800G a doppia porta, in combinazione con due ponticelli in fibra MPO-12/APC ad attacco diretto (M4MPOA12FB), può supportare un massimo di due adattatori ConnectX®-7/OSFP. Ogni adattatore utilizza un transceiver OSFP-400G-SR4, raggiungendo una distanza massima di trasmissione di 50 metri. L'adattatore ConnectX®-7/OSFP funziona con moduli OSFP-400G-SR4 con solo due canali attivati, stabilendo un collegamento a velocità 200G e riducendo automaticamente il consumo energetico.

Cavi InfiniBand MFA7U10-H030

Panoramica sulla tecnologia cavo ottico attivo (AOC)

MFA7U10-H030 InfiniBand NVIDIA FS compatibile con OSFP 400G a QSFP56 2x200G è un cavo splitter ottico attivo (AOC) che converte OSFP in 2x QSFP56, consentendo di ottenere una velocità di 400Gb/s a 2x 200Gb/s. Questo cavo collega ogni coppia di segnali di dati da 8 coppie di fibra multimodale (MMF) provenienti da una singola estremità OSFP a quattro coppie su ciascuna estremità multiporta QSFP56.

Approfondimenti sull'utilizzo di AOC

L'MFA7U10-H030 serve a collegare uno switch NDR con porte OSFP a 2 switch HDR o porte HCA QSFP56.

  • Switch NDR InfiniBand Quantum™-2 - 2x Switch HDR InfiniBand Quantum

  • Switch NDR InfiniBand Quantum™-2 - 2 x 200G QSFP56 Connect®-6 adattatore/BlueField-2 DPU

Cavo patch in fibra ottica MTP

Questo cavo MTP è un cavo patch passivo a 8 fibre multimodali in fibra ottica, dotato di 8 fibre individuali con 4 fibre in ciascuna direzione. I connettori MTP, di tipo APC (Angled Polished) a 8 gradi, riducono al minimo le riflessioni del segnale ottico e garantiscono un'integrità ottimale del segnale. Questo cavo è progettato per interconnettere due switch o collegare gli switch a due adattatori di rete, supportando transceiver in fibra ottica 400GbE/NDR collegabili.

Il cavo MTP è realizzato per collegare due switch o stabilire connessioni tra switch e due adattatori di rete. Questo cavo è versatile e può essere abbinato a transceiver in fibra ottica 400GbE/NDR collegabili. Ad esempio, si integra perfettamente con il transceiver a doppia porta OSFP 800G 2xSR4 progettato per sistemi InfiniBand ed Ethernet sul lato switch. Inoltre, integra i transceiver OSFP-400G-SR4 o QSFP112-400G-SR4 quando vengono usati negli adattatori di rete ConnectX®-7 e nelle DPU BlueField-3.

Introduzione al test FS

Il test completo comprende prove di compatibilità hardware (plug/unplug, riavvio della porta, riavvio dell'alimentazione), prove di compatibilità software (connettività, spegnimento/non spegnimento, test dei parametri) e prove di prestazioni (DDM, tasso di errore di bit, test di stabilità). Il collegamento è stato operativo a piena velocità per una settimana, senza perdita di pacchetti, errori, errori CRC o interruzioni. Tutti i parametri testati sono conformi agli standard del settore.

Conclusioni

Grazie alla profonda conoscenza e all'ampia esperienza di implementazione nella realizzazione di reti InfiniBand ad alte prestazioni, FS offre combinazioni ottimali di switch, schede di rete intelligenti e moduli AOC/DAC/ottici su misura per diversi scenari applicativi. I nostri prodotti e le nostre soluzioni apportano vantaggi e valore sostanziali ai data center, all'elaborazione ad alte prestazioni, all'edge computing, all'HPC e ad altre applicazioni, migliorando le capacità di accelerazione del business con una miscela di costi contenuti e prestazioni eccezionali.

Potresti essere interessato a

Conoscenza
See profile for Sheldon.
Sheldon
Cosa è la porta SFP di uno switch Gigabit?
22 Mag 2023
86.7k
Conoscenza
Conoscenza
See profile for Migelle.
Migelle
Switch PoE, PoE+ e PoE++: Come scegliere?
16 Mar 2023
37.4k
Conoscenza
See profile for Sheldon.
Sheldon
LACP e PAGP: Qual è la differenza?
08 Mar 2023
25.6k
Conoscenza
Conoscenza
See profile for Moris.
Moris
DHCP o IP Statico: Qual è il migliore?
08 Mag 2023
57.8k
Conoscenza
See profile for Migelle.
Migelle
Switch Attivo vs Passivo: Quale Scegliere?
07 Dic 2020
20.9k
Conoscenza
See profile for Sheldon.
Sheldon
RIP vs OSPF: Qual è la differenza?
15 Nov 2022
29.2k
Conoscenza
See profile for Vincent.
Vincent
Capire il moduli BiDi
08 Mar 2021
20.1k
Conoscenza
Conoscenza
See profile for Vincent.
Vincent
XFP vs SFP+: Quali sono le differenze?
10 Gen 2023
15.0k