Soluciones InfiniBand de extremo a extremo para el cuello de botella de la formación LLM

El impacto de ChatGPT en la tecnología ha generado especulaciones sobre el futuro del procesamiento del lenguaje. La multimodalidad ha llamado la atención y OpenAI presentó GPT-4, un modelo multimodal innovador. GPT-4 representa un avance notable en varias áreas.

Estos impresionantes avances en tecnología son el resultado de un extenso entrenamiento de modelos, que requiere importantes recursos computacionales y redes de transmisión de datos de alta velocidad. La red InfiniBand (IB) de extremo a extremo se destaca como una opción ideal para la informática de alto rendimiento y la capacitación de modelos de IA. En este artículo, profundizaremos en el concepto de capacitación en modelos de lenguaje grande (LLM) y exploraremos la necesidad de la red Infiniband de extremo a extremo para abordar el cuello de botella de la capacitación de LLM.

¿Existe alguna conexión entre LLM y ChatGPT?

La formación de modelos de lenguajes grandes (LLM) enfrenta varios cuellos de botella, principalmente relacionados con la transferencia de datos y la comunicación dentro de los clústeres informáticos de GPU. A medida que crecen los grandes modelos lingüísticos, la necesidad de redes confiables y de alta velocidad se vuelve crucial. Por ejemplo, modelos como GPT-3 con 1,75 billones de parámetros no se pueden entrenar en una sola máquina y dependen en gran medida de clústeres de GPU. El principal cuello de botella radica en la comunicación eficiente de datos entre los nodos del grupo de formación.

Etapa 1: Ring-Allreduce

Un algoritmo de comunicación de GPU comúnmente utilizado es Ring-Allreduce, donde las GPU forman un anillo, permitiendo que los datos fluyan dentro de él. Cada GPU tiene un vecino izquierdo y otro derecho, y los datos solo se envían al vecino derecho y se reciben del vecino izquierdo. El algoritmo consta de dos pasos: dispersión-reducción y recopilación total. En el paso de reducción de dispersión, las GPU intercambian datos para obtener un bloque del resultado final. En el paso de recopilación total, las GPU intercambian estos bloques para garantizar que todas las GPU tengan el resultado final completo.

Etapa 2: Anillo de dos etapas

En el pasado, con un ancho de banda limitado y sin tecnología NVLink o RDMA, un anillo grande era suficiente para la distribución tanto en una sola máquina como en varias máquinas. Sin embargo, con la introducción de NVLink en una sola máquina, utilizar el mismo método resulta inapropiado. El ancho de banda de la red es mucho menor que el ancho de banda de NVLink, por lo que emplear un anillo grande reduciría significativamente la eficiencia de NVLink al nivel de la red. Además, en el entorno actual de múltiples NIC (tarjeta de interfaz de red), la utilización de un solo anillo impide la utilización completa de múltiples NIC. Por lo tanto, se recomienda un enfoque de anillo en dos etapas para abordar estos desafíos.

En un escenario de anillo de dos etapas, la sincronización de datos se produce entre GPU dentro de una sola máquina, aprovechando la ventaja de gran ancho de banda de NVLink. Posteriormente, las GPU de varias máquinas establecen múltiples anillos utilizando varias NIC para sincronizar datos de diferentes segmentos. Finalmente, las GPU dentro de una sola máquina se sincronizan una vez más, completando la sincronización de datos en todas las GPU. En particular, la Biblioteca de comunicación colectiva de NVIDIA (NCCL) desempeña un papel crucial en este proceso.

La biblioteca de comunicación colectiva de NVIDIA (NCCL) incluye rutinas optimizadas para la comunicación de múltiples GPU y múltiples nodos, diseñadas específicamente para GPU y redes de NVIDIA. NCCL proporciona primitivas eficientes para operaciones de recopilación total, reducción total, transmisión, reducción, reducción de dispersión y envío y recepción punto a punto. Estas rutinas están optimizadas para un gran ancho de banda y baja latencia, utilizando redes en el nodo y NVIDIA Mellanox a través de interconexiones de alta velocidad PCIe y NVLink.

Al abordar los cuellos de botella en la transferencia y comunicación de datos, los avances en los clústeres de computación GPU y la utilización de herramientas como NCCL contribuyen a superar los desafíos en el entrenamiento de grandes modelos de lenguaje, allanando el camino para nuevos avances en la investigación y el desarrollo de la IA.

¿Cómo ayuda la solución de red Infiniband de extremo a extremo?

Cuando se trata de entrenamiento de modelos grandes, Ethernet se queda corto en términos de velocidad de transmisión y latencia. Por el contrario, la red InfiniBand de extremo a extremo ofrece una solución informática de alto rendimiento capaz de ofrecer velocidades de transmisión de hasta 400 Gbps y una latencia de microsegundos, superando las capacidades de Ethernet. Como resultado, InfiniBand se ha convertido en la tecnología de red preferida para el entrenamiento de modelos a gran escala.

Mecanismos de corrección de errores y redundancia de datos

Una ventaja clave de la red InfiniBand de extremo a extremo es su soporte para mecanismos de corrección de errores y redundancia de datos, lo que garantiza una transmisión de datos confiable. Esto se vuelve especialmente crítico en el entrenamiento de modelos a gran escala, donde el gran volumen de datos que se procesan hace que los errores de transmisión o la pérdida de datos sean perjudiciales para el proceso de entrenamiento. Al aprovechar las sólidas funciones de InfiniBand, se pueden minimizar o eliminar las interrupciones o fallas causadas por problemas de transmisión de datos.

Configuración y mantenimiento de subred local

En un protocolo de interconexión InfiniBand, cada nodo está equipado con un adaptador de canal de host (HCA) responsable de establecer y mantener enlaces con los dispositivos host. Los conmutadores, con múltiples puertos, facilitan el reenvío de paquetes de datos entre puertos, lo que permite una transmisión de datos eficiente dentro de las subredes.

El administrador de subred (SM) desempeña un papel crucial en la configuración y el mantenimiento de la subred local, con la ayuda del paquete del administrador de subred (SMP) y el agente del administrador de subred (SMA) en cada dispositivo InfiniBand. El SM descubre e inicializa la red, asigna identificadores únicos a todos los dispositivos, determina la unidad de transmisión mínima (MTU) y genera tablas de enrutamiento de conmutadores basadas en algoritmos de enrutamiento seleccionados. También realiza escaneos periódicos de la subred para detectar cualquier cambio en la topología y ajusta la configuración de la red en consecuencia.

Control de flujo basado en crédito

En comparación con otros protocolos de comunicación de red, las redes InfiniBand ofrecen mayor ancho de banda, menor latencia y mayor escalabilidad. Además, InfiniBand emplea un control de flujo basado en créditos, donde el nodo emisor garantiza que no transmite más datos que la cantidad de créditos disponibles en el buffer de recepción en el otro extremo del enlace. Esto elimina la necesidad de un mecanismo de pérdida de paquetes como el algoritmo de ventana TCP, lo que permite que las redes InfiniBand alcancen velocidades de transferencia de datos extremadamente altas con latencia y uso de CPU mínimos.

Tecnología de acceso remoto directo a memoria (Rdma)

InfiniBand utiliza la tecnología de acceso directo a memoria remota (RDMA), que permite la transferencia directa de datos entre aplicaciones a través de la red sin involucrar al sistema operativo. Este enfoque de transferencia sin copia reduce significativamente el consumo de recursos de la CPU en ambos extremos, lo que permite que las aplicaciones lean mensajes directamente desde la memoria. La sobrecarga reducida de la CPU aumenta la capacidad de la red para transferir datos rápidamente y permite que las aplicaciones reciban datos de manera más eficiente.

En general, la red InfiniBand de extremo a extremo presenta ventajas significativas para el entrenamiento de modelos grandes, incluido un gran ancho de banda, baja latencia, redundancia de datos y mecanismos de corrección de errores. Al aprovechar las capacidades de InfiniBand, los investigadores y profesionales pueden superar las limitaciones de rendimiento, mejorar la gestión del sistema y acelerar el entrenamiento de modelos de lenguaje a gran escala.

FS ofrece soluciones integrales de red InfiniBand de extremo a extremo

FS proporciona una solución de red integral de extremo a extremo que aprovecha componentes avanzados como NVIDIA Quantum-2 switches y tarjetas inteligentes ConnectX InfiniBand , junto con la tecnología flexible InfiniBand de 400 Gb/s. Con nuestro profundo conocimiento de las tendencias de redes de alta velocidad y nuestra amplia experiencia en la implementación de proyectos de HPC, FS tiene como objetivo ofrecer un rendimiento incomparable y al mismo tiempo reducir los costos y la complejidad en la informática de alto rendimiento (HPC) y las infraestructuras de nube de hiperescala.

Las soluciones de red InfiniBand de extremo a extremo de FS permiten a las organizaciones aprovechar todo el potencial de la informática de alto rendimiento y las infraestructuras de nube a hiperescala. Al ofrecer un rendimiento superior, reducir costos y simplificar la administración de la red, FS permite a los clientes mantenerse a la vanguardia de la innovación y lograr sus objetivos comerciales de manera eficiente.