Revolución de servidores de IA: desentrañar las innovaciones en la tecnología de chip de interconexión de interfaz

Según datos de TrendForce, el envío de servidores de IA es de aproximadamente 130.000 unidades, lo que representa aproximadamente el 1% del total de envíos globales de servidores. Con los principales fabricantes como Microsoft, Meta, Baidu y ByteDance lanzando sucesivamente productos y servicios basados en IA generativa, ha habido un aumento significativo en el volumen de pedidos. Los pronósticos indican que, impulsado por la demanda continua de aplicaciones como ChatGPT, se espera que el mercado de servidores de IA mantenga una tasa de crecimiento anual compuesta del 12,2% de 2023 a 2027. En este contexto, el desarrollo de servidores de IA es particularmente llamativo.

DGX H100: Avance pionero en IA

Lanzado en 2022, el DGX H100 es la versión más reciente del sistema DGX de NVIDIA y forma el núcleo del NVIDIA DGX SuperPOD. Con 8 GPU H100 y 640 mil millones de transistores, los servidores DGX ofrecen seis veces el rendimiento de IA de la generación anterior, sobresaliendo particularmente en la nueva precisión FP8. Este sistema avanzado proporciona un impresionante ancho de banda de 900 GB/s, lo que muestra un importante avance en las capacidades de IA.

El servidor DGX H100 incorpora tarjetas de red IP, funcionando tanto como tarjetas de red como expansiones de Switch PCIe, utilizando el estándar PCIe 5.0. Además, el servidor incluye CX7 en forma de 2 tarjetas, cada una de las cuales contiene 4 chips CX7 y proporciona 2 puertos de módulo óptico OSFP de 800G. Para la interconexión de GPU (H100), los chips NVSwitch desempeñan un papel crucial. Cada GPU extiende 18 NVLink hacia afuera, logrando un ancho de banda bidireccional de 50 GB/s por enlace, con un total de ancho de banda bidireccional de 900 GB/s. Esto se distribuye en 4 NVSwitches integrados, y cada NVSwitch corresponde a 4-5 módulos ópticos OSFP. Cada módulo óptico OSFP utiliza 8 canales ópticos, con una velocidad de transmisión de 100 Gbps por canal, por lo que la velocidad total alcanza los 800 Gbps. Esta configuración permite la transmisión de datos a alta velocidad.

Interconexión de componentes como CPU, GPU: PCIe Switch, Retimer Chip

Evolución de la tecnología de conmutador PCIe: superación de las limitaciones de los canales

El interruptor PCIe (Hub PCIe) es un componente crucial que facilita la conexión de dispositivos PCIe utilizando el protocolo de comunicación PCIe. Proporciona capacidades de expansión y agregación, lo que permite conectarse múltiples dispositivos a un puerto PCIe. Esto es particularmente beneficioso para superar los desafíos asociados con la disponibilidad limitada del canal PCIe. Actualmente, los conmutadores PCIe se utilizan ampliamente en sistemas de almacenamiento tradicionales y están ganando popularidad en diversas plataformas de servidores, lo que contribuye a mejorar las velocidades de transmisión de datos dentro de estos sistemas.

La progresión de la tecnología de bus PCIe implica un aumento gradual en la velocidad del conmutador PCIe a lo largo de generaciones sucesivas. Inicialmente presentada por Intel en 2001 como la tecnología de E/S de tercera generación bajo el apodo "3GIO", se sometió a un cambio de nombre a "PCI Express" en 2002 después de la evaluación del grupo de interés especial PCI (PCI-SIG). Se produjo un hito notable con la introducción formal de PCIe 1.0 en 2003, lo que significa soporte para una tasa de transmisión por canal de 250 MB/sy una tasa de transmisión agregada de 2.5 GT/s. En 2022, PCI-SIG lanzó oficialmente la especificación PCIe 6.0, aumentando el ancho de banda total a 64 GT/s.

Tendencias dominantes en la industria de los recímeros de PCIe

Dentro de los servidores de IA, garantizar la calidad de la señal durante la conexión de GPU y CPU requiere la inclusión de un mínimo de un chip de retímero. Varios servidores AI optan por la utilización de múltiples chips de retímero, como lo ejemplifican Astera Labs, que integra cuatro chips de retímero dentro de su configuración de acelerador de IA.

El mercado PCIe Retimer actualmente tiene un gran potencial, con tres fabricantes líderes y muchos competidores potenciales. Actualmente, las tecnologías de desfile, los laboratorios de Astera y la tecnología de montaje se destacan como los principales actores en este próspero mercado, manteniendo posiciones significativas. En particular, la tecnología de montaje, al ser uno de los primeros en adoptar la implementación de PCIe, es el único proveedor de China continental capaz de una producción a gran escala de los retimeros PCIe 4.0. Además, la tecnología de montaje está avanzando constantemente en el desarrollo de los retimadores PCIe 5.0.

Además, los fabricantes de chips como Renesas, TI y Microchip Technology participan activamente en el desarrollo de productos de retímero PCIe. Según la información disponible en sus sitios web oficiales, Renesas ofrece dos productos PCIe 3.0 Retimer, a saber, 89HT0816AP y 89HT0832P. TI proporciona un retímero PCIe 4.0 de 8 gpbps de 8 canales 4.0-DS160PT801. Además, Microchip Technology introdujo la serie XpressConnect de chips de retimer en noviembre de 2020, diseñada para admitir la tasa de 32GT/s de PCIe 5.0.

GPU de interconexión: Nvlink y NVSwitch

Los principales fabricantes de chips de todo el mundo otorgan una gran importancia a la promoción de la tecnología de interfaz de alta velocidad. Entre ellos, NVLink de NVIDIA, AMD’s Infinity Fabric y el CXL de Intel han hecho contribuciones significativas.

NVLink es una tecnología de interconexión de alta velocidad desarrollada por NVIDIA. Está diseñado para acelerar la velocidad de transmisión de datos entre CPU y GPU, GPU y GPU, y mejorar el rendimiento del sistema. Durante el período de 2016 a 2022, NVLink ha sufrido avances, alcanzando su cuarta generación. En 2016, NVIDIA introdujo la primera generación de NVLink con el lanzamiento de la GPU Pascal GP100. NVLink emplea tecnología de interconexión de señalización de alta velocidad (NVHS), que facilita principalmente la transmisión de señales entre GPU y entre GPU y CPU. Las GPU transmiten señales eléctricas de impedancia diferencial codificadas en forma NRZ (no retorno a cero). El enlace NVLINK de primera generación logra un ancho de banda bidireccional de 40 GB/s, y un solo chip puede admitir cuatro enlaces, lo que resulta en un ancho de banda bidireccional total de 160 GB/s.

Avances de NVLink: desarrollo a través de diferentes períodos

La tecnología NVLink ha visto múltiples iteraciones, impulsando la innovación en la interconexión de alta velocidad. En 2017 se presentó la segunda generación de NVLink, basada en la arquitectura Volta. Alcanza un ancho de banda bidireccional de 50 GB/s por enlace y admite seis enlaces por chip, lo que suma un total de 300 GB/s de ancho de banda bidireccional. En 2020, la tercera generación, basada en la arquitectura de amperios, se lanzó con especificaciones similares, alcanzando un ancho de banda bidireccional total de 600 GB/s. El último desarrollo llegó en 2022 con la cuarta generación, basado en la arquitectura de la tolva. Esta iteración cambió a señales eléctricas moduladas PAM4, manteniendo un ancho de banda bidireccional de 50 GB/s por enlace y admitiendo 18 enlaces por chip, lo que resulta en un ancho de banda bidireccional total de 900 GB/s.

Desarrollo de NVSwitch que permite interconexiones de GPU de alto rendimiento

En 2018, NVIDIA presentó la versión inicial de NVSwitch, que ofrece una resolución para mejorar el ancho de banda, disminuir la latencia y facilitar la comunicación entre múltiples GPU dentro de los servidores. Fabricado utilizando el proceso FINFET de 12 nm de TSMC, el NVSwitch de primera generación cuenta con 18 interfaces NVLink 2.0. A través de la implementación de 12 NVSwitches, un servidor podría acomodar y optimizar la velocidad de interconexión para 16 GPU V100.

En la actualidad, NVSwitch ha avanzado a su tercera generación, construida utilizando el proceso 4N de TSMC. Cada chip NVSwitch está equipado con 64 puertos NVLink 4.0, lo que facilita una velocidad de comunicación de 900 GB/s entre GPU. Las GPU interconectadas a través del conmutador NVLink pueden funcionar colectivamente como un acelerador singular de alto rendimiento con capacidades de aprendizaje profundo.

Resumen

El desarrollo de tecnologías de chip de interconexión de interfaz, como chips PCIe, chips de retímero y NVSwitch, ha mejorado significativamente las capacidades de interacción entre las CPU y las GPU, así como entre las GPU. La interacción de estas tecnologías destaca el panorama dinámico de los servidores de inteligencia artificial, lo que contribuye al avance de la computación de alto rendimiento.