¿Cuánto sabe sobre la informática en red InfiniBand?

InfiniBand desempeña un papel crucial en las aplicaciones de computación de alto rendimiento (HPC) , como se refleja en su provisión de comunicaciones de red de alta velocidad y baja latencia para respaldar la transferencia de datos a gran escala y tareas computacionales complejas. La importancia de InfiniBand se extiende al ámbito de la informática en red, donde sus aplicaciones se están expandiendo gradualmente. Al ejecutar tareas computacionales dentro de la red, InfiniBand reduce aún más la latencia y mejora la eficiencia general del sistema, impulsando los dominios de HPC hacia un mayor rendimiento y una mayor inteligencia.

Computación en red InfiniBand: ¿Qué es?

InfiniBand In-Network Computing (INC) es una extensión de la tecnología InfiniBand diseñada para mejorar el rendimiento del sistema mediante la introducción de capacidades computacionales en la red. En el ámbito de la informática en red, aborda eficazmente la comunicación colectiva y los problemas de cuellos de botella punto a punto en aplicaciones de HPC, proporcionando perspectivas y soluciones novedosas para la escalabilidad de los centros de datos.

La filosofía de la informática en red implica integrar capacidades computacionales en los conmutadores y adaptadores InfiniBand de la red InfiniBand. Esto permite la ejecución de tareas informáticas simples simultáneamente con la transmisión de datos, eliminando la necesidad de transferir datos a nodos terminales, como servidores, para su procesamiento.

Computación en red InfiniBand en centro de datos

En los últimos años, la evolución de los centros de datos modernos se ha manifestado en una novedosa arquitectura de procesamiento paralelo distribuido, impulsada por la computación en la nube, el big data y la computación de alto rendimiento. Recursos como CPU, memoria y almacenamiento están dispersos por todo el centro de datos y interconectados a través de tecnologías de red de alta velocidad como InfiniBand, Ethernet, Fibre Channel y Omni-Path. El diseño colaborativo y la división del trabajo facilitan la realización colectiva de tareas de procesamiento de datos, creando una arquitectura de sistema equilibrada centrada en los datos comerciales.

InfiniBand In-Network Computing integra la computación en red mediante la ejecución de tareas computacionales dentro de la red, transfiriendo responsabilidades de procesamiento de datos desde la CPU a la red para reducir la latencia y mejorar el rendimiento del sistema. A través de tecnologías clave como la descarga de protocolos de red, RDMA, GPUDirect, InfiniBand logra funcionalidades como computación en línea, menor latencia de comunicación y eficiencia optimizada de transferencia de datos. Esta profunda integración de la informática en red proporciona un soporte eficaz para aplicaciones de HPC y informática de alto rendimiento.

Tecnologías clave de la informática en red InfiniBand

Descarga de protocolo de red

La descarga de protocolos de red implica aliviar a la CPU de la carga de procesar protocolos relacionados con la red moviendo estas tareas a hardware dedicado.

Adaptadores de red InfiniBand y switches InfiniBand manejan el procesamiento de toda la pila de protocolos de comunicación de red, incluida la capa física, la capa de enlace, la capa de red y la capa de transporte. Esta descarga elimina la necesidad de software adicional y recursos de procesamiento de CPU durante la transmisión de datos, lo que mejora significativamente el rendimiento de la comunicación.

RDMA

La tecnología de acceso remoto directo a memoria (RDMA) se desarrolló para abordar el problema de la latencia del procesamiento de datos del lado del servidor en la transmisión de red. RDMA permite la transmisión directa de datos desde la memoria de una computadora a otra sin involucrar a la CPU, lo que reduce la latencia del procesamiento de datos y mejora la eficiencia de la transmisión de la red.

RDMA permite que los datos se transfieran directamente desde las aplicaciones del usuario al área de almacenamiento del servidor, que luego se pueden transmitir rápidamente al almacenamiento del sistema remoto a través de la red. Esto elimina la necesidad de múltiples operaciones de copia de datos e intercambio de texto durante el proceso de transmisión, lo que resulta en una reducción significativa en la carga de la CPU.

GPUDirect RDMA

GPUDirect RDMA es una tecnología que aprovecha la capacidad de RDMA para facilitar la comunicación directa entre nodos de GPU, mejorando la eficiencia de la comunicación en los clústeres de GPU.

En escenarios en los que dos procesos de GPU en diferentes nodos dentro de un clúster necesitan comunicarse, GPUDirect RDMA permite que el adaptador de red RDMA transfiera datos directamente entre las memorias de GPU de los dos nodos. Esto elimina la necesidad de que la CPU participe en la copia de datos, reduce los accesos al bus PCIe, minimiza la copia de datos innecesaria y mejora significativamente el rendimiento de la comunicación.

SHARP

El protocolo escalable de reducción y agregación jerárquica (SHARP) es una tecnología de descarga de redes de comunicación colectiva diseñada para optimizar la eficiencia en aplicaciones de computación de alto rendimiento que involucran comunicaciones colectivas.

SHARP integra una unidad de motor de cálculo en el chip del conmutador InfiniBand, que admite varios cálculos de punto fijo o punto flotante. En un entorno de clúster con múltiples conmutadores, SHARP establece un árbol lógico en la topología física, donde múltiples conmutadores procesan operaciones de comunicación colectiva de manera paralela y distribuida. Este procesamiento paralelo y distribuido del árbol SHARP reduce significativamente la latencia de la comunicación colectiva, minimiza la congestión de la red y mejora la escalabilidad del sistema de clúster. El protocolo admite operaciones como Barrier, Reduce y All-Reduce, mejorando la eficiencia de las comunicaciones colectivas en entornos informáticos a gran escala.

Aplicaciones informáticas en red InfiniBand: HPC e IA

InfiniBand In-Network Computing encuentra aplicaciones destacadas en HPC debido a su capacidad para mejorar el rendimiento y la eficiencia general del sistema.

Computación en red InfiniBand en HPC

En el campo de HPC, donde predominan las tareas informáticas intensivas, InfiniBand es fundamental para mitigar la contención de recursos de CPU/GPU. La naturaleza intensiva en comunicación de las tareas de HPC, que involucran comunicaciones tanto punto a punto como colectivas, requiere protocolos de comunicación efectivos. En este contexto, las técnicas de descarga, las tecnologías RDMA, GPUDirect y SHARP se emplean ampliamente para optimizar el rendimiento informático.

Computación en red InfiniBand en IA

Las tecnologías de vanguardia, al ser una tecnología de alto rendimiento, dependen en gran medida de la computación en red InfiniBand para acelerar el proceso de capacitación y obtener modelos de alta precisión. En el panorama actual, las GPU o los chips especializados sirven como núcleo computacional en las plataformas de entrenamiento. Estas plataformas aprovechan InfiniBand para acelerar la formación, un proceso conocido por su intensidad computacional. La optimización de los protocolos de comunicación de aplicaciones es crucial para reducir la latencia durante el entrenamiento. La tecnología GPUDirect RDMA se emplea para mejorar el ancho de banda de comunicación entre los clústeres de GPU, reduciendo efectivamente los retrasos en la comunicación.

Conclusión

InfiniBand In-Network Computing, como tecnología innovadora de computación en red, proporciona soporte computacional eficiente y confiable para los campos de HPC e IA. Como una de las innovaciones importantes en el campo de la tecnología de la información, InfiniBand In-Network Computing liderará el avance y la evolución continuos de la tecnología de computación en red. FS puede proporcionar productos InfiniBand relacionados con soluciones de IA, como IB switches, tarjetas de red IB, y cables del módulo IB, que están disponibles para tu compra en FS.com.