Quanto cose sai su InfiniBand nel computing di rete?

InfiniBand svolge un ruolo fondamentale nell'high-performance computing (HPC), come evidenziato dalla sua fornitura di comunicazione di rete ad alta velocità e a bassa latenza per supportare il trasferimento di dati su larga scala e compiti computazionali complessi. La rilevanza di InfiniBand si estende al campo dell'In-Network Computing, dove le sue applicazioni stanno gradualmente crescendo. Eseguendo compiti computazionali all'interno della rete, InfiniBand riduce ulteriormente la latenza e migliora l'efficienza complessiva del sistema, spingendo i settori dell'HPC verso prestazioni superiori e un'aumentata intelligenza.

InfiniBand in-network computing: Cosa è?

InfiniBand In-Network Computing (INC) è un'estensione della tecnologia InfiniBand progettata per migliorare le prestazioni del sistema introducendo capacità di calcolo nella rete. Nel campo del computing di rete, affronta efficacemente le problematiche di comunicazione collettiva e i problemi di bottleneck point-to-point nelle applicazioni di high-performance computing (HPC), fornendo nuove prospettive e soluzioni per la scalabilità dei data center.

La filosofia dell'in-network computing coinvolge l'integrazione di capacità computazionali negli switch e negli adattatori InfiniBand della rete InfiniBand. Ciò consente l'esecuzione di compiti computazionali semplici in modo concorrente alla trasmissione dei dati, eliminando la necessità di trasferire i dati ai nodi terminali come i server per l'elaborazione.

InfiniBand in-network computing nei data center

Negli ultimi anni, l'evoluzione dei moderni data center si è manifestata in una nuova architettura di elaborazione parallela distribuita, guidata dal cloud computing, big data, high-performance computing. Risorse come CPU, memoria e storage sono disperse in tutto il data center e interconnesse tramite tecnologie di rete ad alta velocità come InfiniBand, Ethernet, Fibre Channel e Omni-Path. Il design collaborativo e la divisione del lavoro facilitano il raggiungimento collettivo dei compiti di elaborazione dei dati, creando un'architettura di sistema bilanciata centrata sui dati aziendali.

L'InfiniBand in-network computing integra il calcolo in rete eseguendo compiti computazionali direttamente nella rete, trasferendo le responsabilità di elaborazione dati dalla CPU alla rete per ridurre la latenza e migliorare le prestazioni del sistema. Attraverso tecnologie chiave come l'accelerazione del protocollo di rete, RDMA, GPUDirect, InfiniBand raggiunge funzionalità come il calcolo online, la riduzione della latenza nella comunicazione e l'ottimizzazione dell'efficienza del trasferimento dati. Questa profonda integrazione del calcolo in rete fornisce un supporto efficace per le applicazioni di high-performance computing.

Tecnologie chiave dell'InfiniBand in-network computing

Offload del protocollo di rete

Il network protocol offloading libera la CPU dal peso dell'elaborazione dei protocolli legati alla rete, spostando questi compiti su un hardware dedicato.

Gli adattatori di rete e gli switch InfiniBand gestiscono l'elaborazione dell'intero stack di protocolli di comunicazione di rete, compresi il livello fisico, il livello di collegamento, il livello di rete e il livello di trasporto. Questo offloading elimina la necessità di ulteriore software e risorse di elaborazione della CPU durante la trasmissione dei dati, migliorando significativamente le prestazioni della comunicazione.

RDMA

La tecnologia Remote Direct Memory Access (RDMA) è sviluppata per affrontare il problema della latenza nell'elaborazione dei dati lato server durante la trasmissione di rete. RDMA consente la trasmissione diretta dei dati dalla memoria di un computer a un altro senza coinvolgere la CPU, riducendo la latenza nell'elaborazione dei dati e migliorando l'efficienza della trasmissione di rete.

RDMA consente il trasferimento diretto dei dati dalle applicazioni utente all'area di archiviazione del server, che può quindi essere velocemente trasmessa all'archiviazione del sistema remoto tramite la rete. Questo elimina la necessità di molteplici operazioni di copia e scambio di dati durante il processo di trasmissione, con una significativa riduzione del carico sulla CPU.

GPUDirect RDMA

GPUDirect RDMA è una tecnologia che sfrutta la capacità di RDMA per facilitare la comunicazione diretta tra nodi GPU, migliorando l'efficienza della comunicazione in cluster GPU.

Nei casi in cui due processi GPU su nodi diversi all'interno di un cluster devono comunicare, GPUDirect RDMA consente all'adattatore di rete RDMA di trasferire direttamente dati tra le memorie GPU dei due nodi. Questo elimina la necessità dell'intervento della CPU nella copia dei dati, riduce gli accessi al bus PCIe, minimizza la copia superflua dei dati e migliora significativamente le prestazioni della comunicazione.

SHARP

Il protocollo Scalable Hierarchical Aggregation and Reduction (SHARP) è una tecnologia di offloading delle comunicazioni collettive di rete progettata per ottimizzare l'efficienza nelle applicazioni di high-performance computing che coinvolgono comunicazioni collettive.

SHARP integra un'unità di elaborazione nel chip switch InfiniBand, supportando vari calcoli in virgola mobile o a virgola fissa. In un ambiente di cluster con più switch, SHARP stabilisce un albero logico nella topologia fisica, dove più switch elaborano le operazioni di comunicazione collettiva in modo parallelo e distribuito. Questo trattamento parallelo e distribuito dell'albero SHARP riduce significativamente la latenza della comunicazione collettiva, minimizza la congestione di rete e migliora la scalabilità del sistema di cluster. Il protocollo supporta operazioni come Barrier, Reduce e All-Reduce, potenziando l'efficienza delle comunicazioni collettive in ambienti di calcolo su larga scala.

Applicazioni dell'InfiniBand in-network computing: HPC

L'InfiniBand in-network computing trova applicazioni di rilievo nell'HPC grazie alla sua capacità di potenziare le prestazioni complessive del sistema e l'efficienza.

InfiniBand in-network computing nell'ambito dell'HPC

Nel campo dell'HPC, dove predominano compiti intensivi di calcolo, l'InfiniBand è fondamentale per mitigare la contesa di risorse CPU/GPU. La natura intensiva della comunicazione nei compiti HPC, che coinvolge comunicazioni sia punto a punto che collettive, richiede protocolli di comunicazione efficaci. In questo contesto, le tecniche di offloading, le tecnologie RDMA, GPUDirect e SHARP sono ampiamente impiegate per ottimizzare le prestazioni di calcolo.

Conclusioni

L'InfiniBand in-network computing, come tecnologia innovativa di calcolo di rete, offre un supporto computazionale efficiente e affidabile per i settori HPC. Come una delle innovazioni significative nel campo delle tecnologie dell'informazione, l'InfiniBand in-network computing guiderà l'avanzamento continuo ed evoluzione della tecnologia di calcolo di rete. FS può fornire prodotti InfiniBand correlati alle soluzioni HPC, come switch IB, schede di rete IB e cavi di modulo IB, disponibili per l'acquisto su FS.com.