Solutions Avancées de Mise en Réseau pour l'Intelligence Artificielle

Ces dernières années, les modèles d'intelligence artificielle (IA) à grande échelle ont suscité une grande attention au sein de la communauté de l'IA en raison de leurs capacités remarquables en matière de compréhension du langage naturel, de traitement multimédia et de leur potentiel de progression vers l'IA générale. L'échelle des paramètres des grands modèles les plus en vue dans l'industrie a atteint l'ordre de milliers de milliards, voire de dizaines de milliers de milliards.

En 2023, un remarquable système d'IA appelé ChatGPT a gagné en popularité, démontrant sa capacité à engager des conversations, à générer des codes, à répondre à des questions et à rédiger des romans. Sa technologie sous-jacente repose sur le grand modèle GPT-3.5, finement ajusté, qui compte 175 milliards de paramètres. Les rapports indiquent que la formation de GPT-3.5 a utilisé un système de supercalculateur dédié à l'IA construit par Microsoft. Ce système comprenait une grappe de réseaux à haute performance abritant 10 000 GPU V100, avec une consommation cumulée de puissance de calcul d'environ 3640 jours PF. Pour mettre les choses en perspective, si l'on calcule à un taux de 10 trillions de calculs par seconde, le calcul prendrait 3640 jours.

Améliorer les Réseaux pour Atteindre un Niveau d'Excellence en Matière d'IA

À l'ère de l'intelligence artificielle, la demande de réseaux a atteint des niveaux sans précédent, nécessitant des performances et une fiabilité inégalées. Alors que les technologies de l'IA continuent de progresser, les modèles à grande échelle devenant la norme, l'infrastructure réseau doit évoluer pour répondre à ces demandes et offrir des niveaux exceptionnels de connectivité et de réactivité. Une expérience réseau optimale est primordiale, étant donné son impact direct sur l'exécution transparente des algorithmes d'IA, l'efficacité du transfert de données et la prise de décision en temps réel. Du transfert de données à grande vitesse à la connectivité à très faible latence, un réseau de qualité irréprochable est la pierre angulaire de la réussite de l'IA. Ce n'est qu'en exploitant les technologies de pointe et en repoussant sans cesse les limites des capacités des réseaux que nous pourrons exploiter pleinement le potentiel de l'IA dans l'ère numérique.

Goulets d'Étranglement du Réseau dans les Grandes Grappes de GPU

Selon la loi d'Amdahl, l'efficacité d'un système parallèle est déterminée par les performances de sa communication en série. Lorsque le nombre de nœuds augmente dans un système parallèle, la proportion de communication augmente également, ce qui intensifie son impact sur les performances globales du système. Dans les tâches d'apprentissage de modèles étendus impliquant la puissance de calcul de centaines, voire de milliers de GPU, la multitude de nœuds de serveurs et la nécessité d'une communication entre serveurs font de la bande passante du réseau un goulot d'étranglement pour les systèmes de grappes de GPU. En particulier, l'utilisation courante de la méthode MoE (Mixture-of-Experts) dans les architectures de grands modèles, caractérisées par des caractéristiques de porte restreintes et un modèle de communication "tout-à-tout", impose des exigences exceptionnellement élevées en matière de performances du réseau avec l'augmentation de la taille des grappes. Les récentes stratégies d'optimisation de l'industrie pour la communication "tout-à-tout" ont été centrées sur la maximisation de l'utilisation de la grande largeur de bande du réseau afin de minimiser le temps de communication et d'améliorer la vitesse d'apprentissage des modèles MoE.

Défis en Matière de Stabilité dans les Grandes Grappes de GPU

Lorsqu'une grappe de GPU atteint une certaine échelle, la stabilité du système de la grappe devient un défi supplémentaire à relever, en plus de l'optimisation des performances. La fiabilité du réseau joue un rôle essentiel dans la détermination de la stabilité informatique de l'ensemble de la grappe. Cela s'explique par les raisons suivantes :

• Grands Domaines de Défaillance du Réseau : Contrairement à un point de défaillance unique du processeur, qui n'affecte qu'une petite partie de la puissance de calcul de la grappe, les pannes de réseau peuvent perturber la connectivité de dizaines de GPU, voire plus. Un réseau stable est impératif pour préserver l'intégrité de la puissance de calcul du système.

• Impact Significatif des Fluctuations de Performance du Réseau : Contrairement à un seul GPU ou serveur peu performant qu'il est relativement facile d'isoler, le réseau est une ressource partagée par l'ensemble de la grappe. Les fluctuations des performances du réseau peuvent avoir un impact considérable sur l'utilisation de toutes les ressources informatiques.

Il est essentiel de tenir compte de ces aspects pour maintenir la robustesse et la cohérence des performances des grappes de GPU à grande échelle.

Renforcer les Réseaux d'Apprentissage de l'IA à Haute Performance

Dans le domaine de l'apprentissage de modèles à grande échelle, où les itérations de calcul et la synchronisation des gradients exigent des volumes de communication massifs, il n'est pas rare d'atteindre des centaines de gigaoctets pour une seule opération. En outre, l'introduction de modes parallèles et d'exigences de communication par les cadres d'accélération rend les réseaux traditionnels à faible débit inefficaces pour supporter les calculs robustes des grappes de GPU. Pour exploiter pleinement les puissantes capacités de calcul des GPU, il est essentiel de disposer d'une infrastructure de réseau à haute performance, fournissant des nœuds de calcul à très grande largeur de bande équipés de capacités de communication à large bande, évolutives et à faible latence afin de relever les défis de communication inhérents à la formation à l'IA.

Le réseau NVIDIA InfiniBand (IB) se distingue en fournissant à chaque nœud informatique une bande passante de communication très élevée, atteignant jusqu'à 1,6 Tbps. Cela représente une amélioration de plus de dix fois par rapport aux réseaux conventionnels. Les principales caractéristiques du réseau NVIDIA InfiniBand sont les suivantes :

• Topologie Fat-Tree non Bloquante : L'utilisation d'une topologie de réseau non bloquante garantit une transmission efficace au sein de la grappe, supportant une échelle de grappe unique allant jusqu'à 2 000 GPU et fournissant des performances de grappe au niveau des superEFLOPS (FP16).

• Évolution Flexible du Réseau : Le réseau permet une expansion flexible, prenant en charge un maximum de 32 000 grappes de calcul GPU. Cette flexibilité permet d'ajuster la taille des grappes en fonction de la demande, ce qui permet de former des modèles à grande échelle à différents niveaux.

• Accès à une Large Bande Passante : Le plan de réseau du nœud informatique est équipé de huit cartes réseau ROCE, facilitant l'accès à une bande passante ultra-haute de 1,6 Tbps. Cette conception à large bande passante facilite la transmission rapide des données entre les nœuds de calcul, en minimisant le temps de latence des communications.

L'utilisation du réseau NVIDIA InfiniBand permet de construire des nœuds de calcul avec une bande passante très élevée, offrant des performances de communication robustes pour soutenir la formation à l'IA. FS propose également des switchs InfiniBand, des cartes réseau InfiniBand, des serveurs GPU, et des produits à haut débit tels que InfiniBand HDR AOC et DAC. Ces produits répondent aux exigences de faible latence, de large bande passante et de fiabilité des clusters de serveurs réseau haute performance pour l'IA.

Résumé

Avec les progrès continus de la puissance de calcul des GPU et l'évolution permanente de l'entraînement des modèles d'IA à grande échelle, la tâche impérative de construire une infrastructure de réseau à haute performance devient primordiale. L'architecture des réseaux de clusters GPU doit faire l'objet d'itérations et d'améliorations continues pour garantir l'utilisation et la disponibilité optimales de la puissance de calcul du système. Ce n'est que par une innovation et des mises à jour constantes que nous pourrons répondre aux demandes croissantes sur les réseaux et fournir des performances et une fiabilité inégalées.

Dans l'ère de l'IA, les réseaux caractérisés par une large bande passante, une faible latence et une grande évolutivité sont sur le point de devenir la norme. Ces attributs sont essentiels pour fournir un soutien solide à l'entraînement de modèles à grande échelle et faciliter la prise de décision en temps réel. En tant que fournisseur de premier plan de solutions de réseaux optiques, notre engagement demeure intact dans la fourniture de solutions de connectivité réseau de haute qualité et de haute performance, adaptées aux grappes de serveurs d'intelligence artificielle. Notre objectif concerne l'innovation permanente, la construction d'une infrastructure de réseau fiable et performante, et la mise en place de bases stables et fiables pour le développement et l'application de la technologie de l'intelligence artificielle.

Travaillons ensemble pour relever les défis de l'IA et ouvrir un nouveau chapitre pour un futur intelligent.