Soluzioni InfiniBand End-To-End per il Collo di Bottiglia della Formazione LLM

L'impatto di ChatGPT sulla tecnologia ha portato a speculazioni sul futuro dell'HPC. La multimodalità ha guadagnato attenzione e OpenAI ha presentato GPT-4, un modello multimodale innovativo. GPT-4 rappresenta un notevole progresso in diverse aree. L'impatto di ChatGPT sulla tecnologia ha portato a speculazioni sul futuro dell'HPC. La multimodalità ha attirato l'attenzione e OpenAI ha introdotto GPT-4, un modello multimodale innovativo. GPT-4 rappresenta un notevole progresso in varie aree.

Questi progressi impressionanti nell'HPC sono il risultato di un'ampia formazione dei modelli, che richiede notevoli risorse di calcolo e reti di trasmissione dati ad alta velocità. La rete end-to-end InfiniBand (IB) è la scelta ideale per l'elaborazione ad alte prestazioni e l'addestramento dei modelli di HPC. In questo articolo approfondiremo il concetto di formazione di modelli linguistici di grandi dimensioni (LLM) ed esploreremo la necessità della rete Infiniband end-to-end per risolvere il collo di bottiglia della formazione LLM.

Ci sono Connessioni tra LLM e ChatGPT?

La formazione di modelli linguistici di grandi dimensioni (LLM) affronta diversi colli di bottiglia, principalmente legati al trasferimento e alla comunicazione dei dati all'interno dei cluster di elaborazione GPU. Man mano che i modelli linguistici di grandi dimensioni crescono, la necessità di reti affidabili e ad alta velocità diventa cruciale. Ad esempio, modelli come GPT-3 con 1,75 trilioni di parametri non possono essere addestrati su una singola macchina e si basano molto sui cluster GPU. Il collo di bottiglia principale risiede nella comunicazione efficiente dei dati tra i nodi del cluster di formazione.

Fase 1: Riduzione ad Anello

Un algoritmo di comunicazione delle GPU comunemente utilizzato è Ring-Allreduce, in cui le GPU formano un anello, permettendo ai dati di fluire al suo interno. Ogni GPU ha un vicino di destra e uno di sinistra e i dati vengono inviati solo al vicino di destra e ricevuti da quello di sinistra. L'algoritmo consiste in due fasi: scatter-reduce e allgather. Nella fase di scatter-reduce, le GPU si scambiano i dati per ottenere un blocco del risultato finale. Nella fase di allgather, le GPU scambiano questi blocchi per garantire che tutte le GPU abbiano il risultato finale completo.

Fase 2: Anello a Due Fasi

In passato, con una larghezza di banda limitata e senza tecnologia NVLink o RDMA, un anello di grandi dimensioni era sufficiente per la distribuzione su una o più macchine. Tuttavia, con l'introduzione di NVLink all'interno di una singola macchina, l'utilizzo dello stesso metodo diventa inadeguato. La larghezza di banda della rete è molto inferiore a quella di NVLink, quindi l'impiego di un anello di grandi dimensioni ridurrebbe significativamente l'efficienza di NVLink al livello della rete. Inoltre, nell'attuale ambiente multi-NIC (Network Interface Card), l'utilizzo di un solo anello impedisce il pieno utilizzo di più NIC. Per questo motivo, si raccomanda un approccio ad anello a due stadi per affrontare queste sfide.

In uno scenario ad anello a due fasi, la sincronizzazione dei dati avviene tra le GPU di una singola macchina, sfruttando l'elevata larghezza di banda di NVLink. Successivamente, le GPU di più macchine stabiliscono anelli multipli utilizzando più NIC per sincronizzare i dati da segmenti diversi. Infine, le GPU di una singola macchina si sincronizzano ancora una volta, completando la sincronizzazione dei dati su tutte le GPU. In particolare, la NVIDIA Collective Communication Library (NCCL) svolge un ruolo fondamentale in questo processo.

La NVIDIA Collective Communication Library (NCCL) include routine ottimizzate per la comunicazione multi-GPU e multi-nodo, progettate specificamente per le GPU e le reti NVIDIA. NCCL fornisce primitive efficienti per operazioni di invio e ricezione di tipo all-collection, all-reduce, broadcast, reduce, reduce scatter e point-to-point. Queste routine sono ottimizzate per ottenere un'elevata larghezza di banda e una bassa latenza, utilizzando reti in-node e NVIDIA Mellanox tramite interconnessioni ad alta velocità PCIe e NVLink.

Risolvendo i colli di bottiglia nel trasferimento dei dati e nella comunicazione, i progressi dei cluster di elaborazione su GPU e l'utilizzo di strumenti come NCCL contribuiscono a superare le sfide nell'addestramento di modelli linguistici di grandi dimensioni, aprendo la strada a ulteriori progressi nella ricerca e nello sviluppo dell'HPC.

Come Funziona la Soluzione di Rete Infiniband End-to-End?

Quando si tratta di addestramento di modelli di grandi dimensioni, Ethernet non è all'altezza in termini di velocità di trasmissione e latenza. Al contrario, la rete end-to-end InfiniBand offre una soluzione di calcolo ad alte prestazioni in grado di fornire velocità di trasmissione fino a 400 Gbps e latenza di microsecondi, superando le capacità di Ethernet. Di conseguenza, InfiniBand è diventata la tecnologia di rete preferita per la formazione di modelli su larga scala.

Ridondanza dei Dati e Meccanismi di Correzione degli Errori

Un vantaggio fondamentale della rete InfiniBand end-to-end è il suo supporto per la ridondanza dei dati e i meccanismi di correzione degli errori, che garantiscono una trasmissione affidabile dei dati. Questo aspetto diventa particolarmente critico nell'addestramento di modelli su larga scala, dove l'enorme volume di dati elaborati rende gli errori di trasmissione o la perdita di dati dannosi per il processo di addestramento. Sfruttando le caratteristiche di robustezza di InfiniBand, è possibile ridurre al minimo o eliminare le interruzioni o i guasti causati da problemi di trasmissione dei dati.

Subnet Locale Configurazione e Manutenzione

In un protocollo di interconnessione InfiniBand, ogni nodo è dotato di un adattatore di canale host (HCA) responsabile della creazione e del mantenimento dei collegamenti con i dispositivi host. Gli switch, con più porte, facilitano l'inoltro dei pacchetti di dati tra le porte, consentendo un'efficiente trasmissione dei dati all'interno delle sottoreti.

Il Subnet Manager (SM) svolge un ruolo cruciale nel configurare e mantenere la subnet locale, aiutato dal Subnet Manager Packet (SMP) e dal Subnet Manager Agent (SMA) su ogni dispositivo InfiniBand. Il SM scopre e inizializza la rete, assegna identificatori univoci a tutti i dispositivi, determina l'Unità di trasmissione minima (MTU) e genera tabelle di routing degli switch basate su algoritmi di routing selezionati. Esegue anche scansioni periodiche della subnet per rilevare eventuali cambiamenti nella topologia e regola la configurazione della rete di conseguenza.

Controllo del Flusso basato sul Credito

Rispetto ad altri protocolli di comunicazione di rete, le reti InfiniBand offrono una maggiore larghezza di banda, una minore latenza e una maggiore scalabilità. Inoltre, InfiniBand impiega un controllo di flusso basato sui crediti, in cui il nodo mittente si assicura di non trasmettere più dati del numero di crediti disponibili nel buffer di ricezione all'altro capo del collegamento. Questo elimina la necessità di un meccanismo di perdita dei pacchetti come l'algoritmo della finestra TCP, consentendo alle reti InfiniBand di raggiungere velocità di trasferimento dati estremamente elevate con latenza e utilizzo della CPU minimi.

Tecnologia di Accesso Diretto Remoto alla Memoria (Rdma)

InfiniBand utilizza la tecnologia Remote Direct Memory Access (RDMA), che consente il trasferimento diretto dei dati tra le applicazioni sulla rete senza coinvolgere il sistema operativo. Questo approccio di trasferimento a copia zero riduce significativamente il consumo di risorse della CPU su entrambe le estremità, consentendo alle applicazioni di leggere i messaggi direttamente dalla memoria. Il ridotto sovraccarico della CPU aumenta la capacità della rete di trasferire i dati rapidamente e consente alle applicazioni di ricevere i dati in modo più efficiente.

Nel complesso, la rete InfiniBand end-to-end presenta vantaggi significativi per la formazione di modelli di grandi dimensioni, tra cui larghezza di banda elevata, bassa latenza, ridondanza dei dati e meccanismi di correzione degli errori. Sfruttando le capacità di InfiniBand, ricercatori e professionisti possono superare i limiti delle prestazioni, migliorare la gestione del sistema e accelerare la formazione di modelli linguistici su larga scala.

FS Offre Soluzioni di Rete InfiniBand End-to-End Complete

FS offre una soluzione di rete end-to-end completa che si avvale di componenti avanzati come gli switch NVIDIA Quantum-2 e le smart card ConnectX InfiniBand, insieme alla tecnologia InfiniBand flessibile da 400 Gb/s. Grazie alla profonda conoscenza delle tendenze del networking ad alta velocità e alla vasta esperienza nell'implementazione di progetti HPC, FS mira a fornire prestazioni senza precedenti riducendo al contempo i costi e la complessità delle infrastrutture di High-Performance Computing (HPC) cloud hyper-scale.

Le soluzioni di rete InfiniBand end-to-end di FS consentono alle aziende di sfruttare tutto il potenziale delle infrastrutture di calcolo ad alte prestazioni e cloud hyperscale. Offrendo prestazioni superiori, riducendo i costi e semplificando la gestione della rete, FS consente ai clienti di rimanere all'avanguardia dell'innovazione e di raggiungere gli obiettivi aziendali in modo efficiente.