Perspectivas de InfiniBand: Potenciando la informática de alto rendimiento en la era digital

Desde el inicio del siglo XXI, impulsada por la creciente popularidad de la computación en la nube y los macrodatos, la rápida evolución de los centros de datos se ha vuelto cada vez más evidente. En este panorama dinámico, InfiniBand ha surgido como una tecnología fundamental, desempeñando un papel crucial en el corazón de los centros de datos. En particular, a partir de 2023, el ascenso de los grandes modelos de IA, ejemplificado por innovaciones como ChatGPT, ha impulsado a InfiniBand a una posición aún más destacada. Esta mayor atención se atribuye al hecho de que la red que sustenta los modelos GPT se construye sobre la base de InfiniBand.

Pero ¿qué es exactamente la tecnología InfiniBand y qué atributos contribuyen a su adopción generalizada? Además, ¿por qué existe un debate continuo en torno al debate "InfiniBand vs. Ethernet"? Este completo artículo tiene como objetivo abordar cada una de estas preguntas, ofreciendo información valiosa sobre las complejidades de la tecnología InfiniBand y su importancia en el panorama en constante evolución de la informática de alto rendimiento.

El viaje evolutivo de la tecnología InfiniBand

InfiniBand (IB), un protocolo de comunicación robusto, tiene sus raíces entrelazadas con la evolución de la arquitectura informática. La base de las computadoras digitales modernas se basa en la arquitectura von Neumann, una estructura que presenta componentes esenciales como CPU que abarcan la unidad lógica aritmética y la unidad de control, memoria que incluye RAM y disco duro, y dispositivos de E/S.

A principios de la década de 1990, el panorama informático fue testigo de un aumento en la demanda de soporte para una gama cada vez mayor de dispositivos externos. En respuesta a esta necesidad, Intel surgió como pionero al introducir el diseño del bus de interconexión de componentes periféricos (PCI) en la arquitectura de PC estándar. Este paso innovador marcó un momento crucial en la trayectoria de la evolución de las computadoras, sentando las bases para el eventual surgimiento del potente protocolo de comunicación que ahora reconocemos como InfiniBand.

Posteriormente, Internet pasó por una fase de rápido desarrollo, acompañada por el floreciente crecimiento de las empresas y las bases de usuarios en línea, lo que a su vez impuso desafíos sustanciales a la capacidad de los sistemas de TI.

Durante este período, a pesar de los notables avances en componentes como CPU, memoria y discos duros, impulsados por el impulso de la Ley de Moore, el bus PCI enfrentó un retraso en las actualizaciones. Este ritmo más lento de desarrollo limitó significativamente el rendimiento de E/S y se convirtió en un cuello de botella para todo el sistema.

En respuesta a este cuello de botella, un esfuerzo de colaboración liderado por gigantes de la industria como Intel, Microsoft y SUN dio origen al estándar tecnológico "Next Generation I/O (NGIO)". Simultáneamente, IBM, Compaq y Hewlett-Packard se encargaron de desarrollar "Future I/O (FIO)". En particular, estas tres entidades fueron pioneras en la creación del estándar PCI-X en 1998.

En un giro fundamental de los acontecimientos, el Foro de Desarrolladores de FIO y el Foro NGIO se fusionaron, sentando las bases para el establecimiento de la Asociación Comercial InfiniBand. Este esfuerzo de colaboración allanó el camino para el lanzamiento oficial de la versión 1.0 de la Especificación de Arquitectura InfiniBand en el año 2000. En esencia, el inicio de InfiniBand tenía como objetivo suplantar el bus PCI. Al presentar el protocolo RDMA, InfiniBand ofreció una latencia más baja, un mayor ancho de banda y una confiabilidad mejorada, lo que permitió un rendimiento de E/S más potente.

En mayo de 1999, un grupo de ex empleados de Intel y Galileo Technology se unieron para fundar Mellanox, una empresa de chips con sede en Israel. Tras su fundación, Mellanox se alineó con NGIO y, cuando NGIO y FIO se fusionaron, Mellanox realizó una transición perfecta al ecosistema InfiniBand. El año 2001 marcó un hito cuando Mellanox presentó su producto inaugural InfiniBand.

Sin embargo, el panorama de la comunidad InfiniBand experimentó una transformación notable en 2002. Intel, un actor clave, redirigió abruptamente su atención hacia el desarrollo de PCI Express (PCIe), lanzado oficialmente en 2004. Simultáneamente, otro importante contribuyente, Microsoft, se retiró de su participación activa. en el desarrollo de InfiniBand. Si bien algunas entidades como SUN e Hitachi perseveraron, la salida de gigantes de la industria ensombreció la trayectoria del desarrollo de InfiniBand.

En 2003, se produjo un punto de inflexión cuando InfiniBand encontró un nuevo dominio de aplicación: la interconectividad de clústeres de computadoras. Ese mismo año, Virginia Tech construyó un clúster basado en la tecnología InfiniBand, consiguiendo la tercera posición en la lista TOP500, una clasificación mundial de supercomputadoras.

En 2004, surgió otra organización sin fines de lucro InfiniBand notable: la Open Fabrics Alliance (OFA). OFA e IBTA mantienen una relación de colaboración: IBTA se centra en el desarrollo, mantenimiento y mejora de los estándares del protocolo InfiniBand, mientras que OFA se encarga de desarrollar y mantener tanto el protocolo InfiniBand como las API de aplicaciones de nivel superior.

En 2005, InfiniBand encontró otro escenario de aplicación: conectar dispositivos de almacenamiento. Este período también fue testigo de la popularidad de InfiniBand y Fibre Channel (FC) como tecnologías de red de área de almacenamiento (SAN), lo que generó una mayor conciencia sobre la tecnología InfiniBand.

A medida que InfiniBand ganó terreno, su base de usuarios creció y, en 2009, 181 sistemas en la lista TOP500 utilizaban la tecnología InfiniBand, aunque Gigabit Ethernet seguía siendo la corriente principal con 259 sistemas.

Después de 2012, impulsada por las crecientes demandas de la informática de alto rendimiento (HPC), la tecnología InfiniBand continuó progresando, aumentando constantemente su participación de mercado. En 2015, superó por primera vez el 50% de participación en la lista TOP500, lo que marcó un hito importante. InfiniBand se convirtió en la tecnología de interconexión interna preferida para las supercomputadoras.

En respuesta al progreso de InfiniBand, Ethernet experimentó desarrollos. En abril de 2010, IBTA presentó RoCE (RDMA sobre Ethernet convergente), "portando" la tecnología RDMA de InfiniBand a Ethernet. En 2014, se propuso una versión más madura, RoCE v2. Con RoCE v2, Ethernet cerró significativamente la brecha de rendimiento tecnológico con InfiniBand, aprovechando sus ventajas de costo y compatibilidad.

El siguiente cuadro ilustra las acciones de tecnología en la lista TOP500 de 2007 a 2021, mostrando el panorama dinámico de las tecnologías informáticas de alto rendimiento

Como se evidencia en el gráfico, el ascenso de 25G y Ethernet de mayor velocidad (ilustrado por la línea verde oscuro) comenzó en 2015, ganando rápidamente el favor de la industria y eclipsando momentáneamente a InfiniBand. El ascenso de grandes modelos de lenguajes de IA, ejemplificados por GPT-3, ha desencadenado un aumento exponencial en la demanda social de informática de alto rendimiento e informática inteligente.

Para satisfacer las asombrosas demandas computacionales impuestas por grandes modelos de lenguajes de IA como GPT-3, la columna vertebral indispensable son los clústeres informáticos de alto rendimiento. Cuando se trata de rendimiento, InfiniBand se destaca como la opción preferida para este tipo de clústeres.

En el ámbito de las redes de alto rendimiento, el campo de batalla es principalmente entre InfiniBand y Ethernet de alta velocidad, y ambos lados demuestran destrezas comparables. Los fabricantes dotados de amplios recursos suelen optar por InfiniBand, mientras que aquellos que priorizan la rentabilidad tienden a gravitar hacia Ethernet de alta velocidad.

Otras tecnologías, como BlueGene de IBM, Cray y OmniPath de Intel, persisten como alternativas en el segundo nivel de opciones. La intrincada interacción de estas tecnologías refleja el panorama dinámico de la informática de alto rendimiento.

Los principios técnicos de InfiniBand

Después de rastrear la historia de desarrollo de InfiniBand, una exploración más profunda de sus principios de funcionamiento revela por qué supera a Ethernet tradicional en términos de rendimiento y latencia. ¿Cómo logra InfiniBand una latencia tan baja y un rendimiento tan alto?

Avance pionero: RDMA

Como se destacó anteriormente, una característica destacada de InfiniBand es su integración temprana del protocolo de acceso directo a memoria remota (RDMA).

En el marco TCP/IP convencional, los datos viajan desde la tarjeta de red a la memoria principal y luego sufren una transferencia adicional al espacio de almacenamiento de la aplicación. Por el contrario, los datos del espacio de la aplicación siguen una ruta similar: pasan del espacio de la aplicación a la memoria principal antes de transmitirse a través de la tarjeta de red a Internet.

Esta compleja operación de E/S requiere una copia intermedia en la memoria principal, lo que alarga la ruta de transferencia de datos, impone una carga a la CPU e introduce latencia de transmisión.

RDMA sirve como una tecnología que efectivamente "eliminates intermediaries." Al operar con un mecanismo de derivación del kernel, RDMA facilita la lectura y escritura directa de datos entre las aplicaciones y la tarjeta de red, minimizando la latencia de transmisión de datos dentro de los servidores a casi 1 microsegundo.

Además, el mecanismo de copia cero de RDMA permite que el extremo receptor acceda directamente a los datos desde la memoria del remitente, evitando la necesidad de involucrar la memoria principal. Esto da como resultado una reducción sustancial de la carga de la CPU, lo que mejora significativamente la eficiencia general de la CPU.

Como se destacó anteriormente, la adopción generalizada de InfiniBand puede atribuirse en gran medida al impacto transformador de RDMA en la eficiencia de la transferencia de datos.

Arquitectura de red InfiniBand

La estructura de topología de red de InfiniBand se representa visualmente en el siguiente diagrama:

InfiniBand se basa en una arquitectura basada en canales y presenta cuatro componentes principales:

• HCA (Adaptador de canal de host)

• TCA (Adaptador de canal objetivo)

• Enlaces InfiniBand (canales de conexión, que van desde cables hasta fibras e incluso enlaces a bordo)

• Switches y routers InfiniBand (integrales para redes)

Los adaptadores de canal, específicamente HCA y TCA, desempeñan un papel crucial en el establecimiento de canales InfiniBand, garantizando tanto la seguridad como el cumplimiento de los niveles de calidad de servicio (QoS) especificados para todas las transmisiones.

Los sistemas que aprovechan InfiniBand se pueden estructurar en múltiples subredes, cada una de las cuales es capaz de soportar más de 60.000 nodos. Dentro de una subred, los conmutadores InfiniBand manejan el procesamiento de capa 2, mientras que los enrutadores o puentes facilitan la conectividad entre subredes.

El procesamiento de segunda capa en InfiniBand está optimizado. Cada subred InfiniBand está equipada con un administrador de subred responsable de generar un identificador local (LID) de 16 bits. Los conmutadores InfiniBand, que comprenden múltiples puertos, facilitan el reenvío de paquetes de datos de un puerto a otro según el LID contenido en el encabezado de enrutamiento local de capa 2. En particular, los conmutadores se encargan principalmente de la gestión de paquetes y no generan ni consumen paquetes de datos de forma activa.

Aprovechando su procesamiento sencillo y su tecnología patentada Cut-Through, InfiniBand logra una reducción significativa en la latencia de reenvío, alcanzando niveles por debajo de 100 ns. Esta latencia es notablemente más rápida que la que pueden ofrecer los conmutadores Ethernet tradicionales.

Dentro de la red InfiniBand, los datos se transmiten en forma de paquetes, cada uno con un tamaño máximo de 4 KB, utilizando un enfoque en serie.

Apilamiento de protocolos InfiniBand

El protocolo InfiniBand adopta un enfoque de capas estructuradas, en el que cada capa funciona de forma independiente y entrega servicios a la capa situada encima de ella. Consulte el siguiente diagrama para obtener una representación visual:

La pila de protocolos InfiniBand incluye la capa física, que determina cómo se estructuran las señales de bits en símbolos en el cable, tramas, símbolos de datos y relleno de datos entre paquetes. Ofrece especificaciones precisas para protocolos de señalización, facilitando la construcción de paquetes eficientes.

Avanzando en la pila, la capa de enlace define el formato de los paquetes de datos y describe protocolos para operaciones esenciales de paquetes como control de flujo, selección de enrutamiento, codificación y decodificación.

La capa de red se encarga de la selección de ruta agregando un encabezado de ruta global (GRH) de 40 bytes al paquete de datos, lo que facilita el reenvío de datos efectivo.

En el proceso de reenvío, los enrutadores ejecutan comprobaciones CRC variables, lo que garantiza la integridad de la transmisión de datos de un extremo a otro.

Al ascender en la pila de protocolos, la capa de transporte se encarga de entregar el paquete de datos a un par de colas (QP) designado y proporciona instrucciones al QP sobre cómo procesar el paquete de manera efectiva.

Las capas 1 a 4 bien definidas de InfiniBand constituyen colectivamente un protocolo de red integral, y su control de flujo de extremo a extremo forma la base de la transmisión y recepción de paquetes de la red, lo que garantiza redes sin pérdidas.

Los pares de colas (QP) desempeñan un papel fundamental en la tecnología RDMA. Los QP, que comprenden dos colas, la cola de envío (SQ) y la cola de recepción (RQ), sirven como unidades de comunicación fundamentales. Cuando los usuarios invocan llamadas API para enviar o recibir datos, esencialmente están colocando los datos en el QP. Luego, las solicitudes dentro del QP se procesan secuencialmente utilizando un mecanismo de sondeo.

Tasa de enlace InfiniBand

Los enlaces InfiniBand se pueden establecer utilizando cables de cobre o cables de fibra óptica, y los cables InfiniBand dedicados se eligen según los requisitos de conexión específicos.

En la capa física, InfiniBand define múltiples velocidades de enlace, como 1X, 4X y 12X, cada una de las cuales emplea una conexión diferencial en serie de cuatro cables, con dos cables en cada dirección.

Por ejemplo, la primera especificación SDR (Velocidad de datos única) tenía un ancho de banda de 2.5Gbps para un enlace 1X, 10Gbps para un enlace 4X y 30Gbps para un enlace 12X. Sin embargo, debido a la utilización de codificación 8b/10b, el ancho de banda de datos real para un enlace 1X fue de 2.0Gbps. Considerando la naturaleza bidireccional del enlace, el ancho de banda total relativo al bus fue de 4 Gbps.

Con el tiempo, el ancho de banda de la red InfiniBand ha experimentado actualizaciones continuas, pasando de SDR, DDR, QDR, FDR, EDR y HDR a NDR, XDR y GDR, como se muestra en el siguiente diagrama:

Ofertas comerciales de InfiniBand

FS.com ofrece una cartera de productos diversa que cubre velocidades de 40G a 800G para satisfacer los distintos requisitos de velocidad de los clientes, incluidos NDR, HDR, EDR y FRD. Nuestra línea de productos incluye InfiniBand Quantum/Quantum-2 switches, módulos InfiniBand, adaptadores InfiniBand, así como cables AOC/DAC que soportan distancias desde 0,5 metros hasta 100 metros. Estos productos no solo admiten interconexiones de alta velocidad y una latencia extremadamente baja, sino que también brindan soluciones escalables, acelerando la investigación, la innovación y el desarrollo de productos para desarrolladores de IA e investigadores científicos.

Además, tenemos 7 almacenes locales en todo el mundo que garantizan una entrega rápida. FS lleva a cabo rigurosas pruebas de rendimiento, confiabilidad, escenarios y compatibilidad para garantizar la excelencia del producto. FS.com cuenta con un equipo técnico profesional y una amplia experiencia en la implementación de soluciones en escenarios de aplicaciones. Proporcionamos activamente soluciones para informática de alto rendimiento, centros de datos, educación, investigación, biomedicina, finanzas, energía, conducción autónoma, Internet, fabricación y telecomunicaciones. Proporcionar servicios profesionales a clientes en otros campos.

Conclusión

En resumen, la trayectoria de InfiniBand parece prometedora, impulsada por las crecientes demandas de la informática de alto rendimiento y la inteligencia artificial.

Ampliamente adoptada en grandes grupos informáticos y supercomputadoras, InfiniBand se destaca por su alto rendimiento y tecnología de interconexión de baja latencia. Aborda perfectamente los requisitos de grandes transferencias de datos y computación simultánea al ofrecer un ancho de banda elevado y una latencia reducida. Su adaptabilidad a diversas topologías y patrones de comunicación complejos posiciona a InfiniBand de manera única, convirtiéndola en una opción formidable en los ámbitos de la informática de alto rendimiento y la IA.

No obstante, Ethernet, una tecnología de redes omnipresente, sigue en una trayectoria de evolución. Marcada por velocidades cada vez mayores y avances tecnológicos, Ethernet ha solidificado su posición en los centros de datos y ha cerrado ciertas brechas con InfiniBand. Con un ecosistema integral y un soporte de estandarización maduro, Ethernet emerge como una solución accesible y manejable en entornos típicos de centros de datos.

A medida que la tecnología avanza y las demandas cambian, tanto InfiniBand como Ethernet están preparados para aprovechar sus respectivas fortalezas en diversos escenarios de aplicaciones. El ganador final entre InfiniBand y Ethernet sigue siendo incierto, y sólo el tiempo desentrañará la narrativa que se desarrolla. Sin duda, persistirán en dirigir el curso del desarrollo de la tecnología de la información, abordando las crecientes necesidades de ancho de banda y proporcionando capacidades expertas para la transmisión y el procesamiento eficiente de datos.