Révolutionner les Serveurs AI : Décrypter les Innovations dans la Technologie des Puces d'Interconnexion d'Interface

Selon les données de TrendForce, l'expédition des serveurs AI est d'environ 130 000 unités, représentant environ 1% du total des expéditions mondiales de serveurs. Avec les principaux fabricants tels que Microsoft, Meta, Baidu et ByteDance lançant successivement des produits et des services basés sur l'IA générative, il y a eu une augmentation significative du volume des commandes. Les prévisions indiquent que, stimulé par une demande continue d'applications telles que ChatGPT, le marché des serveurs AI devrait maintenir un taux de croissance annuel composé de 12,2% de 2023 à 2027. Dans ce contexte, le développement des serveurs AI est particulièrement remarquable.

DGX H100 : Avancée pionnière en IA

Lancé en 2022, le DGX H100 est la version la plus récente du système DGX de NVIDIA et forme le cœur du NVIDIA DGX SuperPOD. Dotés de 8 GPU H100 et de remarquables 640 milliards de transistors, les serveurs DGX offrent une performance IA six fois supérieure à celle de la génération précédente, excellant notamment dans la nouvelle précision FP8. Ce système avancé offre une bande passante impressionnante de 900 Go/s, marquant une avancée significative dans les capacités de l'IA.

Le serveur DGX H100 intègre des cartes réseau IP, fonctionnant à la fois comme cartes réseau et comme extensions de switch PCIe, utilisant la norme PCIe 5.0. De plus, le serveur comprend le CX7 sous forme de 2 cartes, chacune contenant 4 puces CX7 et fournissant 2 ports de module optique OSFP 800G. Pour l'interconnexion GPU (H100), les puces NVSwitch jouent un rôle crucial. Chaque GPU étend 18 liens NVLink vers l'extérieur, atteignant une bande passante bidirectionnelle de 50 Go/s par lien, totalisant une bande passante bidirectionnelle de 900 Go/s. Celle-ci est répartie sur 4 switchs NVLink embarqués, chaque switch NVLink correspondant à 4-5 modules optiques OSFP. Chaque module optique OSFP utilise 8 canaux optiques, avec un taux de transmission de 100 Gbps par canal, atteignant ainsi un taux total de 800 Gbps. Cette configuration permet une transmission rapide des données. Interconnexion des composants tels que le CPU, GPU :

Interconnexion des composants tels que le CPU, GPU : switch PCIe, Puce Retimer

Évolution de la technologie des switchs PCIe : Surmonter les limitations des canaux

Le switch PCIe (concentrateur PCIe) est un composant crucial qui facilite la connexion des dispositifs PCIe en utilisant le protocole de communication PCIe. Il offre des capacités d'expansion et d'agrégation, permettant à plusieurs dispositifs d'être connectés à un port PCIe. Cela est particulièrement bénéfique pour surmonter les défis liés à la disponibilité limitée des canaux PCIe. Actuellement, les switchs PCIe sont largement utilisés dans les systèmes de stockage traditionnels et gagnent en popularité dans diverses plates-formes de serveurs, contribuant à améliorer les vitesses de transmission des données au sein de ces systèmes.

La progression de la technologie du bus PCIe entraîne une augmentation progressive de la vitesse des switchs PCIe à travers les générations successives. Initialement présentée par Intel en 2001 en tant que technologie d'E/S de troisième génération sous le nom "3GIO", elle a été rebaptisée "PCI Express" en 2002 suite à l'évaluation du groupe d'intérêt spécial PCIe (PCI-SIG). Une étape notable a eu lieu avec la présentation officielle de la spécification PCIe 1.0 en 2003, signifiant une prise en charge d'un taux de transmission par canal de 250 Mo/s et un taux de transmission agrégé de 2,5 GT/s. En 2022, le PCIe-SIG a officiellement publié la spécification PCIe 6.0, augmentant la bande passante totale à 64 GT/s.

Tendances dominantes de l'industrie du Retimer PCIe

Au sein des serveurs AI, garantir la qualité du signal lors de la connexion des GPU et des CPU nécessite l'inclusion d'au moins une puce Retimer. Plusieurs serveurs AI optent pour l'utilisation de plusieurs puces Retimer, comme le montre Astera Labs, qui intègre quatre puces Retimer dans sa configuration d'accélérateur AI.

Le marché actuel des Retimers PCIe présente un grand potentiel, avec trois fabricants principaux et de nombreux concurrents potentiels. Actuellement, Parade Technologies, Astera Labs et Montage Technology se distinguent comme les principaux acteurs de ce marché florissant, occupant des positions importantes. Notamment, Montage Technology, en tant que précurseur du déploiement PCIe, est le seul fournisseur chinois continental capable de produire à grande échelle des Retimers PCIe 4.0. De plus, Montage Technology progresse régulièrement dans le développement des Retimers PCIe 5.0.

De plus, des fabricants de puces tels que Renesas, TI et Microchip Technology participent activement au développement de produits Retimer PCIe. Selon les informations disponibles sur leurs sites officiels, Renesas propose deux produits Retimer PCIe 3.0, à savoir 89HT0816AP et 89HT0832P. TI fournit un Retimer PCIe 4.0 8 canaux de 16 Gbit/s - DS160PT801. De plus, Microchip Technology a introduit la série de puces Retimer XpressConnect en novembre 2020, conçue pour prendre en charge le taux de 32 GT/s du PCIe 5.0.

Interconnexion des GPU : NVLink et NVSwitch

Les principaux fabricants de puces du monde accordent une grande importance à la promotion de la technologie d'interface haute vitesse. Parmi eux, le NVLink de NVIDIA, l'Infinity Fabric d'AMD et le CXL d'Intel ont apporté des contributions significatives.

NVLink est une technologie d'interconnexion haute vitesse développée par NVIDIA. Elle est conçue pour accélérer la vitesse de transmission des données entre le CPU et le GPU, le GPU et le GPU, et améliorer les performances du système. De 2016 à 2022, NVLink a connu des avancées, atteignant sa quatrième génération. En 2016, NVIDIA a introduit la première génération de NVLink avec le lancement du GPU Pascal GP100. NVLink utilise la technologie d'interconnexion à signalisation haute vitesse (NVHS), facilitant principalement la transmission de signaux entre les GPU et entre les GPU et les CPU. Les GPU transmettent des signaux électriques d'impédance différentielle encodés en forme NRZ (Non-Return-to-Zero). La première génération de NVLink atteint une bande passante bidirectionnelle de 40 Go/s, et une seule puce peut prendre en charge quatre liens, résultant en une bande passante bidirectionnelle totale de 160 Go/s.

Avancées de NVLink : développement à travers différentes périodes

La technologie NVLink a connu plusieurs itérations, stimulant l'innovation dans l'interconnexion haute vitesse. En 2017, la deuxième génération de NVLink, basée sur l'architecture Volta, a été introduite. Elle atteint une bande passante bidirectionnelle de 50 Go/s par lien et prend en charge six liens par puce, totalisant une bande passante bidirectionnelle totale de 300 Go/s. En 2020, la troisième génération, basée sur l'architecture Ampere, a été lancée avec des spécifications similaires, atteignant une bande passante bidirectionnelle totale de 600 Go/s. Le dernier développement a eu lieu en 2022 avec la quatrième génération, basée sur l'architecture Hopper. Cette itération a adopté des signaux électriques modulés en PAM4, maintenant une bande passante bidirectionnelle de 50 Go/s par lien et prenant en charge 18 liens par puce, résultant en une bande passante bidirectionnelle totale de 900 Go/s.

Développement du NVSwitch permettant des interconnexions GPU haute performance

En 2018, NVIDIA a introduit la première itération du NVSwitch, offrant une solution pour améliorer la bande passante, réduire la latence et faciliter la communication entre plusieurs GPU au sein des serveurs. Fabriqué avec le processus FinFET 12nm de TSMC, le NVSwitch de première génération disposait de 18 interfaces NVLink 2.0. En déployant 12 NVSwitch, un serveur pouvait accueillir et optimiser la vitesse d'interconnexion pour 16 GPU V100.

À l'heure actuelle, le NVSwitch a progressé vers sa troisième génération, construite avec le processus 4N de TSMC. Chaque puce NVSwitch est équipée de 64 ports NVLink 4.0, facilitant une vitesse de communication de 900 Go/s entre les GPU. Les GPU interconnectés via le switch NVLink peuvent fonctionner collectivement comme un accélérateur haute performance avec des capacités d'apprentissage en profondeur.

Résumé

Le développement des technologies de puce d'interconnexion d'interface telles que les puces PCIe, les puces Retimer et le NVSwitch a considérablement amélioré les capacités d'interaction entre les CPU et les GPU, ainsi qu'entre les GPU. L'interaction de ces technologies met en lumière le paysage dynamique des serveurs d'intelligence artificielle, contribuant à l'avancement de l'informatique haute performance.