Explorando la red InfiniBand, HDR y la importancia de las aplicaciones IB en supercomputación

InfiniBand (IB) es un estándar de comunicación de red informática de vanguardia establecido por la InfiniBand Trade Association (IBTA). Su adopción generalizada en la informática de alto rendimiento (HPC) se atribuye a su capacidad para ofrecer un rendimiento, ancho de banda y baja latencia excepcionales para la transmisión de red.

InfiniBand sirve como conexión de datos críticos dentro y fuera de los sistemas informáticos. Ya sea a través de enlaces directos o interconexiones a través de conmutadores de red, InfiniBand facilita redes de alto rendimiento para la transmisión de datos de servidor a almacenamiento y de almacenamiento a almacenamiento. La escalabilidad de InfiniBand Network permite la expansión horizontal mediante la conmutación de redes para satisfacer diversas necesidades de red. En medio del rápido progreso en la informática científica, la inteligencia artificial (IA) y los centros de datos en la nube, InfiniBand es cada vez más popular en las aplicaciones de supercomputación HPC para redes de alto rendimiento de extremo a extremo.

La prevalencia de InfiniBand en supercomputadoras y centros de datos HPC

En junio de 2015, InfiniBand constituía un notable 51,8% de la lista Top500 de las supercomputadoras más poderosas del mundo, mostrando un sustancial crecimiento interanual del 15,8%.

En la lista Top500 de junio de 2022, las redes InfiniBand volvieron a ocupar el primer lugar entre los dispositivos de interconexión de supercomputadoras, demostrando ventajas tanto numéricas como de rendimiento en comparación con la lista anterior. Las tendencias clave incluyen:

• Las supercomputadoras basadas en InfiniBand lideran significativamente con 189 sistemas.

• Las supercomputadoras basadas en InfiniBand dominan los 100 sistemas principales, con 59 unidades.

• Los productos de red y GPU de NVIDIA, en particular los conmutadores Mellanox HDR Quantum QM87xx y la DPU BlueField, se establecen como interconexiones dominantes en más de dos tercios de las supercomputadoras.

Más allá de las aplicaciones HPC tradicionales, las redes InfiniBand encuentran un amplio uso en centros de datos de clase empresarial y nubes públicas. Por ejemplo, NVIDIA Selene, la supercomputadora empresarial líder, y la nube pública Azure de Microsoft aprovechan las redes InfiniBand para ofrecer un rendimiento empresarial excepcional.

En la última lista Top500 de noviembre de 2023, InfiniBand mantuvo su liderazgo, subrayando su continuo crecimiento. La gran consideración por InfiniBand en el Top500 se debe a sus beneficios de rendimiento, que desempeñan un papel fundamental.

Ventajas de la red InfiniBand

La tecnología InfiniBand, posicionada como un estándar preparado para el futuro para la informática de alto rendimiento (HPC), goza de gran prestigio en la conectividad HPC para supercomputadoras, almacenamiento e incluso redes LAN. InfiniBand cuenta con una gran variedad de ventajas, que incluyen administración simplificada, gran ancho de banda, descarga total de CPU, latencia ultrabaja, escalabilidad y flexibilidad del clúster, calidad de servicio (QoS), soporte SHARP y más.

Fácil gestión de red

InfiniBand representa la arquitectura de red pionera diseñada específicamente para redes definidas por software (SDN) y está supervisada por un administrador de subred. El administrador de subred es responsable de configurar la subred local, garantizando un funcionamiento perfecto. Para administrar el tráfico, todos los adaptadores y conmutadores de canal deben implementar un Agente de administración de subred (SMA) que colabore con el administrador de subred. Cada subred necesita al menos un administrador de subred para la instalación y reconfiguración inicial cuando se establecen o cortan enlaces. Se emplea un mecanismo de arbitraje para designar un administrador de subred maestro, mientras que otros administradores de subred funcionan en modo de espera. En modo de espera, cada administrador de subred conserva información de topología de respaldo y verifica el estado operativo de la subred. En caso de que falle el administrador de subred principal, un administrador de subred en espera asume el control, lo que garantiza una administración de subred ininterrumpida.

Mayor ancho de banda

Desde el inicio de InfiniBand, la velocidad de datos de su red ha superado consistentemente a Ethernet, principalmente debido a su utilización en interconexiones de servidores para computación de alto rendimiento, que exige un ancho de banda elevado. A principios de 2014, las velocidades InfiniBand predominantes eran 40Gb/s QDR y 56Gb/s FDR. Actualmente, numerosas supercomputadoras de todo el mundo han adoptado ampliamente velocidades InfiniBand más altas, como EDR de 100Gb/s y HDR de 200Gb/s. La introducción de la última herramienta OpenAI, ChatGPT, ha llevado a las empresas a considerar la posibilidad de implementar productos de red InfiniBand de última generación con una velocidad de datos NDR de 400 Gb/s, incluidos conmutadores InfiniBand NDR y cables de conectividad óptica, dentro de sus sistemas de informática de alto rendimiento (HPC).

Las abreviaturas para cada tipo de velocidad InfiniBand son las siguientes:

• SDR - Velocidad de datos única, 8Gbps.

• DDR - Doble velocidad de transmisión de datos, 10Gbps/16Gbps.

• QDR - Velocidad de datos cuádruple, 40Gbps/32Gbps.

• FDR - Catorce velocidades de datos, 56Gbps.

• EDR - Velocidad de datos mejorada, 100Gbps.

• HDR - Alto rango dinámico, 200Gbps.

• NDR - Siguiente tarifa de datos, 400Gbps.

• XDR - Velocidad de datos extrema, 800Gbps.

Descarga eficiente de la CPU

Una tecnología fundamental para mejorar el rendimiento informático es la descarga de la CPU, y la arquitectura de red InfiniBand facilita la transferencia de datos con recursos mínimos de la CPU a través de:

• Descarga de hardware de la pila completa de protocolos de la capa de transporte.

• Bypass del núcleo, copia cero.

• RDMA (acceso remoto directo a memoria), un proceso que escribe datos directamente desde la memoria de un servidor a la memoria de otro sin la participación de la CPU.

La utilización de la tecnología GPUDirect también es una opción, que permite el acceso directo a los datos en la memoria de la GPU y facilita la transferencia de datos desde la memoria de la GPU a otros nodos. Esta capacidad mejora el rendimiento de aplicaciones computacionales como la Inteligencia Artificial (IA), la capacitación en Aprendizaje Profundo, el Aprendizaje Automático y más.

Baja latencia

El contraste de latencia entre InfiniBand y Ethernet se puede segmentar en dos componentes principales. En primer lugar, a nivel de conmutador, los conmutadores Ethernet, que funcionan como dispositivos de capa 2 en el modelo de transporte de red, normalmente emplean direccionamiento de búsqueda de tablas MAC y mecanismos de almacenamiento y reenvío (algunos productos pueden incorporar la tecnología Cut-Through de InfiniBand). La inclusión de servicios complejos como IP, MPLS, QinQ y otros procesamientos en conmutadores Ethernet da como resultado una duración de procesamiento extendida, con mediciones de latencia a menudo en microsegundos (el soporte de corte puede exceder los 200 ns). Por el contrario, los conmutadores InfiniBand agilizan el procesamiento de capa 2, basándose únicamente en el LID de 16 bits para reenviar información de ruta. Además, se emplea la tecnología Cut-Through para reducir significativamente el retraso de reenvío a menos de 100 ns, superando la velocidad de los conmutadores Ethernet.

En el nivel de la tarjeta de interfaz de red (NIC), como se mencionó anteriormente, la tecnología RDMMA elimina la necesidad de que las NIC atraviesen la CPU para reenviar mensajes. Esta aceleración minimiza el retraso en el procesamiento de mensajes durante la encapsulación y desencapsulación. En general, las NIC InfiniBand presentan un retraso de envío y recepción (escritura, envío) de 600 ns, mientras que el retraso de envío y recepción para aplicaciones TCP UDP basadas en Ethernet que utilizan Ethernet suele rondar los 10 us. Esto da como resultado una diferencia de latencia superior a diez veces entre InfiniBand y Ethernet.

Escalabilidad y flexibilidad

Una ventaja significativa de la red InfiniBand radica en su capacidad para implementar 48.000 nodos sustanciales dentro de una sola subred, formando una extensa red de Capa 2. Además, las redes InfiniBand evitan mecanismos de transmisión como ARP, evitando así tormentas de transmisión y el desperdicio asociado de ancho de banda adicional. La conectividad de múltiples subredes InfiniBand se puede lograr a través de enrutadores y conmutadores, lo que muestra la versatilidad de la tecnología para admitir diversas topologías de red.

Para escalas más pequeñas, se recomienda una topología de árbol de grasa de 2 capas, mientras que una escala más grande puede optar por una topología de red de árbol de grasa de 3 capas. Más allá de una escala específica, la topología rentable Dragonfly+ se puede emplear para mejorar aún más la escalabilidad.

Soporte de calidad de servicio (QoS)

Al gestionar una red InfiniBand donde coexisten varias aplicaciones en la misma subred con distintos requisitos de prioridad, la provisión de Calidad de Servicio (QoS) se convierte en una preocupación fundamental. QoS denota la capacidad de ofrecer distintos servicios prioritarios adaptados a diferentes aplicaciones, usuarios o flujos de datos. En el contexto de InfiniBand, las aplicaciones de alta prioridad se pueden asignar a colas de puertos específicas, asegurando que los mensajes dentro de estas colas reciban un trato preferencial.

InfiniBand logra QoS mediante la implementación de carriles virtuales (VL). Los carriles virtuales son enlaces de comunicación lógicos discretos que comparten un enlace físico común. Cada VL tiene la capacidad de admitir hasta 15 carriles virtuales estándar junto con un canal de gestión, designado como VL15. Este enfoque permite la segregación efectiva del tráfico según la prioridad, lo que permite la transmisión priorizada de aplicaciones de alta prioridad dentro de la red InfiniBand.

Estabilidad y resiliencia

En un escenario ideal, una red opera con estabilidad y sin fallas. Sin embargo, la realidad de las redes de larga duración implica fallas ocasionales. Para abordar estos desafíos y garantizar una recuperación rápida, InfiniBand emplea un mecanismo conocido como Self-Healing Networking, una capacidad de hardware integrada en los conmutadores InfiniBand.

Las soluciones NVIDIA Mellanox InfiniBand, que abarcan elementos de hardware como conmutadores InfiniBand, NIC y cables Mellanox, aprovechan las redes de recuperación automática para lograr una recuperación rápida de fallas en los enlaces. Esta capacidad basada en hardware permite la restauración de fallas de enlace en tan solo 1 milisegundo, superando los tiempos de recuperación normales en un factor de 5000 veces.

Equilibrio de carga optimizado

Mejorar la utilización de la red es un requisito crucial dentro de un centro de datos de alto rendimiento. En la red InfiniBand, un enfoque eficaz es mediante la implementación de equilibrio de carga..

El equilibrio de carga, una estrategia de enrutamiento, facilita la distribución del tráfico entre múltiples puertos disponibles. El enrutamiento adaptativo, una característica clave, garantiza la distribución uniforme del tráfico entre los puertos del switch. Esta característica es compatible con el hardware del conmutador y está bajo la administración del Administrador de enrutamiento adaptativo..

Cuando el enrutamiento adaptable está activo, el administrador de colas en el conmutador monitorea el tráfico en todos los puertos de SALIDA DEL GRUPO, ecualiza la carga en cada cola y dirige el tráfico hacia puertos infrautilizados. El enrutamiento adaptativo equilibra dinámicamente las cargas, evitando la congestión de la red y optimizando la utilización del ancho de banda de la red..

Tecnología informática en red - SHARP

Los conmutadores InfiniBand cuentan además con la tecnología informática de red conocida como SHARP, que significa Protocolo de reducción y agregación jerárquica escalable. SHARP es un software integrado en el hardware del conmutador y es un paquete de software administrado de forma centralizada.

Al descargar tareas de comunicación agregadas de las CPU y GPU al conmutador, SHARP optimiza estas comunicaciones. Evita transferencias de datos redundantes entre nodos, reduciendo así el volumen de datos que deben atravesar la red. En consecuencia, SHARP mejora significativamente el rendimiento de la computación acelerada, particularmente en aplicaciones MPI como la IA y el aprendizaje automático.

Diversas topologías de red

InfiniBand admite varias topologías de red, como Fat Tree, Torus, Dragonfly+, Hypercube y HyperX, y satisface diferentes necesidades, como escalamiento de red, costo total de propiedad (TCO) reducido, latencia minimizada y distancia de transmisión extendida.

InfiniBand, aprovechando sus incomparables ventajas técnicas, optimiza significativamente la arquitectura de red de alto rendimiento, mitigando la latencia que surge de las jerarquías arquitectónicas de múltiples niveles. Esta capacidad ofrece un soporte sólido para actualizar sin problemas el ancho de banda de acceso para nodos informáticos críticos. La red InfiniBand encuentra cada vez más aplicaciones en diversos escenarios debido a su gran ancho de banda, baja latencia y compatibilidad con Ethernet.

Introducción a las soluciones de productos InfiniBand HDR

Con las crecientes demandas del lado del cliente, el EDR de 100 Gb/s está saliendo gradualmente del mercado. Si bien la velocidad de datos de NDR se considera actualmente demasiado alta, HDR, con su flexibilidad para ofrecer HDR100 (100G) y HDR200 (200G), ha obtenido una adopción generalizada.

Switch InfiniBand HDR

NVIDIA ofrece dos tipos de conmutadores InfiniBand HDR. El primero es el conmutador de chasis modular HDR CS8500, un conmutador de 29U que proporciona hasta 800 puertos HDR de 200 Gb/s. Cada puerto de 200G admite la división en 2X100G, lo que permite admitir hasta 1600 puertos HDR100 (100 Gb/s). El segundo es el conmutador fijo de la serie QM87xx, un panel de 1U que integra 40 puertos QSFP56 de 200G. Estos puertos se pueden dividir en hasta 80 puertos HDR 100G para conectarse a tarjetas de red 100G HDR. Al mismo tiempo, cada puerto también admite la velocidad EDR para conectar una tarjeta NIC 100G EDR. Es importante tener en cuenta que un único puerto HDR de 200G solo se puede reducir la velocidad a 100G para conectarse con la tarjeta de red EDR y no se puede dividir en 2X100G para conectar dos tarjetas de red EDR.

Hay dos variantes de los conmutadores 200G HDR QM87xx: MQM8700-HS2F y MQM8790-HS2F. La única distinción entre los dos modelos radica en el enfoque de gestión. El QM8700 cuenta con un puerto de administración que admite administración fuera de banda, mientras que el QM8790 necesita la plataforma NVIDIA Unified Fabric Manager (UFMR) para la administración.

Tanto para QM8700 como para QM8790, cada tipo de interruptor ofrece dos opciones de flujo de aire. Entre ellos, MQM8790-HS2F presenta flujo de aire P2C (alimentación al cable), identificable por una marca azul en el módulo del ventilador. En caso de que no recuerde la marca de color, la dirección del flujo de aire también se puede determinar colocando la mano frente a la entrada y salida de aire del interruptor. MQM8790-HS2R adopta un flujo de aire C2P (cable a alimentación), con una marca roja en el módulo del ventilador. Los modelos de interruptores de la serie QM87xx se detallan a continuación:

Modelo del switch	Puertos	Tipo de interfaz	Velocidad de enlace	Unidades de rack	Gestión
MQM8790-HS2F	40	QSFP56	200Gb/s	1RU	En banda/Fuera de banda
MQM8790-HS2R	40	QSFP56	200Gb/s	1RU	En banda

Los switches CQM8700 y QM8790 suelen servir para dos aplicaciones de conectividad. Uno implica la vinculación con la tarjeta de red HDR de 200G, lo que permite una conexión directa mediante cables AOC/DAC de 200G a 200G. La otra aplicación común es conectarse con tarjetas de red HDR de 100G, lo que requiere el uso de un cable de 200G a 2X100G para dividir un puerto físico QSFP56 de 200G (4X50G) del conmutador en dos puertos virtuales de 100G (2X50G). Después de la división, el símbolo del puerto se transforma de x/y a x/Y/z, donde "x/Y" denota el símbolo original del puerto antes de la división y "z" indica el número (1,2) del puerto de carril único, donde cada puerto subfísico se considera un puerto individual.

Tarjetas de interfaz de red InfiniBand HDR (NICs)

En comparación con los conmutadores HDR, existe una variedad de tarjetas de interfaz de red (NIC) HDR. En cuanto a la velocidad, hay dos opciones: HDR100 y HDR

La tarjeta NIC HDR100 admite una velocidad de transmisión de 100 Gb/s y dos puertos HDR100 se pueden conectar al conmutador HDR mediante un cable HDR 200G a 2X100G HDR100. A diferencia del adaptador de red 100G EDR, el puerto 100G de la tarjeta NIC HDR100 admite transmisión 4X25G NRZ y transmisión 2X50G PAM4.

La tarjeta de red 200G HDR admite una velocidad de transmisión de 200G y se puede conectar directamente al conmutador mediante un cable directo de 200G.

Además de las dos velocidades de datos de interfaz, la tarjeta de red para cada velocidad puede elegir tipos de puerto único, puerto dual y PCIe según los requisitos comerciales. Los modelos de tarjetas de red IB HDR más utilizados son los siguientes:

Modelo de tarjeta de red	Puertos	Admite velocidad de datos InfiniBand	Admite velocidad de datos Ethernet	Interfaz	Interfaz de host [PCIe]
MCX653105A-ECAT	Puerto único	SDR/DDR/QDR FDR/EDR/HDR	1/10/25/40/50/200Gb/s	QSFP56	PCIe 3.0/4.0 x16
MCX653106A-ECAT	Puerto dual	SDR/DDR/QDR FDR/EDR/HDR100	1/10/25/40/50/100Gb/s	QSFP56	PCIe 3.0/4.0 x16
MCX653105A-ECAT	Puerto único	SDR/DDR/QDR FDR/EDR/HDR100	1/10/25/40/50/100Gb/s	QSFP56	PCIe 3.0/4.0 x16
MCX653106A-HDAT	Puerto dual	SDR/DDR/QDR FDR/EDR/HDR	1/10/25/40/50/200Gb/s	QSFP56	PCIe 3.0/4.0 x16

La arquitectura de red HDR InfiniBand es sencilla, pero ofrece varias opciones de hardware. Para la velocidad de 100 Gb/s, existen soluciones 100G EDR y 100G HDR100. La velocidad de 200 Gb/s incluye opciones HDR y 200G NDR200. Existen diferencias significativas en los conmutadores, tarjetas de red y accesorios utilizados en diversas aplicaciones. Los conmutadores InfiniBand HDR y EDR de alto rendimiento, las tarjetas SmartNIC y las soluciones de cartera de productos de módulos ópticos y AOC&DAC de NADDOD/Mellanox/Cisco/HPE proporcionan productos de redes ópticas más ventajosos y valiosos y soluciones integrales para centros de datos, informática de alto rendimiento, informática de punta e inteligencia artificial. y otros escenarios de aplicación. Esto mejora significativamente las capacidades de aceleración empresarial de los clientes con bajo costo y excelente rendimiento.

¿Cuál es la diferencia entre InfiniBand y Ethernet, Fibre Channel y Omni-Path?

InfiniBand vs. Ethernet

• Tecnologías distintivas: InfiniBand y Ethernet sirven como tecnologías de comunicación cruciales para la transferencia de datos, cada una de las cuales atiende a aplicaciones distintas.

• Velocidades históricas: La velocidad histórica de transferencia de datos de InfiniBand comenzó en InfiniBand SDR 10 Gb/s, superando la velocidad inicial de Gigabit Ethernet.

• Dominio actual: InfiniBand ha evolucionado para dominar con velocidades de red de 100G EDR o 200G HDR, y una trayectoria hacia velocidades más rápidas como 400G NDR y 800G XDR.

• Requisitos estrictos de latencia: InfiniBand cumple con estrictos requisitos de latencia, acercándose a una latencia cercana a cero.

• Aplicaciones ideales: InfiniBand se destaca en aplicaciones que exigen un procesamiento de datos rápido y preciso, frecuente en supercomputación para tareas como análisis de datos de gran volumen, aprendizaje automático, capacitación en aprendizaje profundo, inferencia, IA conversacional, predicción y pronóstico.

• El papel de Ethernet: Ethernet, aunque comparativamente más lento, se caracteriza por su alta confiabilidad, lo que lo hace muy adecuado para aplicaciones de red LAN que requieren una transferencia de datos consistente y confiable.

• Divergencia en velocidad y confiabilidad: la principal divergencia entre estas tecnologías radica en su velocidad y confiabilidad. En las redes HPC, InfiniBand tiene prioridad para aplicaciones que requieren una transferencia rápida de datos, mientras que la confiabilidad de Ethernet la hace preferible para una transferencia de datos consistente en redes LAN.

InfiniBand vs Fibre Channel

• Canal de fibra en redes de área de almacenamiento (SAN): El canal de fibra se emplea principalmente en redes de área de almacenamiento (SAN), y se especializa en la transferencia de datos de alta velocidad entre servidores, dispositivos de almacenamiento o nodos de clientes dentro de entornos de centros de datos.

• Tecnología de canal seguro: Canal de fibra emplea tecnología de canal dedicado y seguro, lo que garantiza transferencias de datos rápidas y confiables.

• Versatilidad en soluciones de almacenamiento: Canal de fibra sirve como una tecnología confiable y expandible ampliamente utilizada en soluciones de almacenamiento empresarial..

• Distinción de tipos de transferencia de datos: La principal distinción entre InfiniBand y canal de fibra radica en los tipos de transferencia de datos que normalmente facilita cada tecnología.

• Opciones óptimas: Ethernet se prefiere para conexiones cliente-servidor en entornos LAN, Fibre Channel sobresale en aplicaciones de almacenamiento dentro de SAN, mientras que InfiniBand emerge como una tecnología innovadora que conecta componentes de memoria de CPU en una IAN, admitiendo agrupaciones en clústeres y conexiones a controladores de E/S.

InfiniBand vs Omni-Path

• Evolución de las redes de centros de datos: A pesar de la introducción de NVIDIA de la solución InfiniBand 400G NDR, algunos usuarios continúan utilizando la solución 100G EDR. Tanto Omni-Path como InfiniBand son opciones comunes para redes de centros de datos de alto rendimiento que operan a velocidades de 100Gb/s.

• Distinciones en la estructura de red: si bien ambas tecnologías ofrecen un rendimiento similar, las estructuras de red de Omni-Path e InfiniBand difieren significativamente. A modo de ejemplo, un clúster de 400 nodos que utiliza InfiniBand requiere solo 15 conmutadores NVIDIA Quantum serie 8000 y cables específicos, mientras que Omni-Path exige 24 conmutadores y una mayor cantidad de cables ópticos activos.

• Ventajas de la solución InfiniBand EDR: La solución InfiniBand EDR demuestra ventajas notables en términos de costo de equipo, costos operativos y de mantenimiento, y consumo general de energía en comparación con Omni-Path. Esto posiciona a InfiniBand como una opción más respetuosa con el medio ambiente.