Aperçu d'InfiniBand : Informatique Haute Performance dans le Domaine de l'Ère Digitale

Depuis le début du 21e siècle, propulsé par la popularité croissante du cloud computing et du big data, l'évolution rapide des centres de données est devenue de plus en plus évidente. Dans ce paysage dynamique, InfiniBand s'est imposé comme une technologie centrale, jouant un rôle crucial au cœur des centres de données. En particulier, à partir de 2023, la montée en puissance des grands modèles, illustrée par des innovations telles que ChatGPT, a propulsé InfiniBand dans une position encore plus proéminente. Cette attention accrue est attribuée au fait que le réseau qui sous-tend les modèles GPT est construit sur la base d'InfiniBand..

Mais qu'est-ce que la technologie InfiniBand et quels sont les attributs qui contribuent à son adoption généralisée ? Pourquoi le débat "InfiniBand contre Ethernet" est-il toujours d'actualité ? Cet article complet vise à répondre à chacune de ces questions, en offrant des informations précieuses sur les subtilités de la technologie InfiniBand et son importance dans le paysage en constante évolution de l'informatique de haute performance..

L'Évolution de la Technologie InfiniBand

InfiniBand (IB), un protocole de communication robuste, trouve ses racines dans l'évolution de l'architecture informatique. Le fondement des ordinateurs numériques modernes repose sur l'architecture de von Neumann, une structure comprenant des composants essentiels tels que les unités centrales de traitement, qui englobent l'unité arithmétique et logique et l'unité de contrôle, la mémoire, qui comprend la mémoire vive et le disque dur, et les dispositifs d'entrée/sortie.

Au début des années 1990, le paysage informatique a connu une forte augmentation de la demande de prise en charge d'un nombre croissant de périphériques externes. Pour répondre à ce besoin, Intel a fait figure de précurseur en introduisant le bus PCI (Peripheral Component Interconnect) dans l'architecture standard des PC. Cette étape innovante a marqué un tournant dans la trajectoire de l'évolution des ordinateurs, jetant les bases de l'émergence éventuelle du puissant protocole de communication que nous connaissons aujourd'hui sous le nom d'InfiniBand.

Par la suite, l'internet a connu une phase de développement rapide, accompagnée d'une croissance considérable des entreprises en ligne et des bases d'utilisateurs, qui ont à leur tour imposé des défis substantiels à la capacité des systèmes informatiques.

Au cours de cette période, malgré les progrès remarquables des composants tels que les processeurs, la mémoire et les disques durs, propulsés par la loi de Moore, le bus PCI a été confronté à un retard dans les mises à niveau. Ce rythme de développement plus lent a considérablement limité les performances des E/S, devenant un goulot d'étranglement pour l'ensemble du système.

En réponse à ce goulot d'étranglement, un effort de collaboration mené par des géants de l'industrie tels qu'Intel, Microsoft et SUN a donné naissance à la norme technologique "Next Generation I/O (NGIO)". Simultanément, IBM, Compaq et Hewlett-Packard ont pris en charge le développement de la norme "Future I/O (FIO)". Ces trois entités ont notamment été à l'origine de la création de la norme PCI-X en 1998.

Dans un tournant décisif, le FIO Developers Forum et le NGIO Forum ont fusionné, établissant ainsi les bases de la création de l'InfiniBand Trade Association. Cet effort de collaboration a ouvert la voie à la publication officielle de la version 1.0 de la spécification de l'architecture InfiniBand en 2000. La création d'InfiniBand visait essentiellement à supplanter le bus PCI. En introduisant le protocole RDMA, InfiniBand a permis de réduire la latence, d'augmenter la bande passante et d'améliorer la fiabilité, ce qui a permis d'accroître les performances des E/S.

En mai 1999, un groupe d'anciens employés d'Intel et de Galileo Technology s'est réuni pour créer Mellanox, une entreprise de puces basée en Israël. Après sa création, Mellanox s'est alignée sur NGIO, et lorsque NGIO et FIO ont fusionné, Mellanox a intégré l'écosystème InfiniBand en toute transparence. L'année 2001 a marqué une étape importante puisque Mellanox a dévoilé son premier produit InfiniBand.

Cependant, le paysage de la communauté InfiniBand a connu une transformation notable en 2002. Intel, un acteur clé, a brusquement réorienté son attention vers le développement du PCI Express (PCIe), officiellement lancé en 2004. Simultanément, un autre contributeur majeur, Microsoft, s'est retiré du développement d'InfiniBand. Bien que certaines entités comme SUN et Hitachi aient persévéré, le départ des géants de l'industrie a jeté des ombres sur la trajectoire du développement d'InfiniBand.

Un tournant s'est produit en 2003 lorsque InfiniBand a trouvé un nouveau domaine d'application : l'interconnectivité des grappes d'ordinateurs. La même année, Virginia Tech a construit une grappe basée sur la technologie InfiniBand, ce qui lui a permis d'obtenir la troisième place dans la liste TOP500, un classement mondial des superordinateurs.

En 2004, une autre organisation à but non lucratif a vu le jour : l'Open Fabrics Alliance (OFA). L'OFA et l'IBTA entretiennent une relation de collaboration, l'IBTA se concentrant sur le développement, la maintenance et l'amélioration des normes du protocole InfiniBand, tandis que l'OFA se charge du développement et de la maintenance du protocole InfiniBand et des API d'application de haut niveau.

En 2005, InfiniBand a trouvé un autre scénario d'application : la connexion de dispositifs de stockage. Cette période a également été marquée par la popularité d'InfiniBand et de Fibre Channel (FC) en tant que technologies de réseau de stockage (SAN), ce qui a permis de mieux faire connaître la technologie InfiniBand.

Au fur et à mesure qu'InfiniBand gagnait du terrain, sa base d'utilisateurs s'est élargie et, en 2009, 181 systèmes de la liste TOP500 utilisaient la technologie InfiniBand, même si Gigabit Ethernet restait le courant dominant avec 259 systèmes.

Après 2012, la technologie InfiniBand a continué à progresser sous l'impulsion de la demande croissante en matière de calcul haute performance (HPC), augmentant régulièrement sa part de marché. En 2015, elle a dépassé pour la première fois la barre des 50 % dans la liste TOP500, marquant ainsi une étape importante. InfiniBand est devenue la technologie d'interconnexion interne préférée des superordinateurs.

En réponse aux progrès d'InfiniBand, Ethernet a connu une évolution. En avril 2010, l'IBTA a présenté RoCE (RDMA over Converged Ethernet), qui "porte" la technologie RDMA d'InfiniBand à Ethernet. En 2014, une version plus mature, RoCE v2, a été proposée. Avec RoCE v2, Ethernet a considérablement comblé l'écart de performance technologique avec InfiniBand, en tirant parti de ses avantages en termes de coût et de compatibilité.

Le graphique ci-dessous illustre la part des technologies dans la liste TOP500 entre 2007 et 2021, et met en évidence le paysage dynamique des technologies de calcul à haute performance.

Comme le montre le graphique, l'ascension de l'Ethernet 25G et à vitesse supérieure (illustré par la ligne vert foncé) a commencé en 2015, gagnant rapidement la faveur de l'industrie et éclipsant momentanément l'InfiniBand. La montée en puissance des grands modèles de langage, illustrés par le GPT-3, a déclenché une poussée exponentielle de la demande sociétale en matière de calcul à haute performance et d'informatique intelligente.

Pour répondre aux demandes de calcul stupéfiantes imposées par les grands modèles de langage tels que GPT-3, le backbone indispensable est constitué par les grappes de calcul à haute performance. En termes de performances, InfiniBand s'impose comme le choix privilégié pour ces grappes.

Dans le domaine des réseaux à hautes performances, la bataille se joue principalement entre InfiniBand et Ethernet à haut débit, les deux parties faisant preuve de prouesses comparables. Les fabricants disposant de ressources importantes optent souvent pour InfiniBand, tandis que ceux qui privilégient la rentabilité ont tendance à se tourner vers l'Ethernet à haut débit.

D'autres technologies, telles que BlueGene d'IBM, Cray et OmniPath d'Intel, restent des alternatives dans le deuxième niveau d'options. L'interaction complexe de ces technologies reflète le paysage dynamique du calcul à haute performance.

Les Principes Fondamentaux de la Technologie InfiniBand

Après avoir retracé l'histoire du développement d'InfiniBand, une exploration plus approfondie de ses principes de fonctionnement dévoile pourquoi il surpasse l'Ethernet traditionnel en termes de performances et de latence. Comment InfiniBand parvient-il à obtenir une latence aussi faible et des performances aussi élevées ?

Une Progression Pionnière : RDMA

Comme nous l'avons souligné précédemment, l'une des principales caractéristiques d'InfiniBand est la rapidité d'intégration du protocole RDMA (Remote Direct Memory Access).

Dans le cadre TCP/IP classique, les données passent de la carte réseau à la mémoire principale, puis subissent un transfert supplémentaire vers l'espace de stockage de l'application. Inversement, les données de l'espace d'application suivent un parcours similaire - elles passent de l'espace d'application à la mémoire principale avant d'être transmises à l'internet par la carte de réseau.

Cette opération d'E/S complexe nécessite une copie intermédiaire dans la mémoire principale, ce qui allonge le chemin de transfert des données, impose une charge au processeur et introduit une latence de transmission.

RDMA est une technologie qui "élimine les intermédiaires". Fonctionnant avec un mécanisme de contournement du noyau, RDMA facilite la lecture et l'écriture directes des données entre les applications et la carte réseau, réduisant la latence de transmission des données au sein des serveurs à près d'une microseconde.

En outre, le mécanisme de copie zéro de RDMA permet au destinataire d'accéder directement aux données de la mémoire de l'expéditeur, ce qui évite d'avoir recours à la mémoire principale. Il en résulte une réduction substantielle de la charge de travail de l'unité centrale, ce qui améliore considérablement l'efficacité globale de l'unité centrale.

Comme nous l'avons souligné précédemment, l'adoption généralisée d'InfiniBand peut être largement attribuée à l'impact transformateur de RDMA sur l'efficacité du transfert de données.

Architecture du Réseau InfiniBand

La structure topologique du réseau InfiniBand est représentée visuellement dans le diagramme ci-dessous :

InfiniBand repose sur une architecture basée sur les canaux, avec quatre composants principaux :/p>

• HCA (Adaptateur de Canal Hôte)

• TCA (Adaptateur de Canal Cible)

• Liaisons InfiniBand (canaux de connexion, allant des câbles aux fibres, et même aux liaisons embarquées)

• - Switchs et routeurs InfiniBand (partie intégrante de la mise en réseau)

Les adaptateurs de canaux, en particulier HCA et TCA, jouent un rôle crucial dans l'établissement des canaux InfiniBand, garantissant à la fois la sécurité et le respect des niveaux de qualité de service (QoS) spécifiés pour toutes les transmissions.

Les systèmes utilisant InfiniBand peuvent être structurés en plusieurs sous-réseaux, chaque sous-réseau pouvant prendre en charge plus de 60 000 nœuds. Au sein d'un sous-réseau, les commutateurs InfiniBand gèrent le traitement de la couche 2, tandis que les routeurs ou les ponts facilitent la connectivité entre les sous-réseaux.

Le traitement de la deuxième couche dans InfiniBand est rationalisé. Chaque sous-réseau InfiniBand est équipé d'un gestionnaire de sous-réseau chargé de générer un identifiant local (LID) de 16 bits. Les commutateurs InfiniBand, qui comportent plusieurs ports, facilitent le transfert des paquets de données d'un port à l'autre sur la base de l'identifiant local contenu dans l'en-tête de routage local de la couche 2. Il est à noter que les commutateurs s'occupent principalement de la gestion des paquets et ne génèrent ni ne consomment activement des paquets de données.

Grâce à son traitement simple et à sa technologie propriétaire Cut-Through, InfiniBand permet de réduire considérablement la latence de transmission, pour atteindre des niveaux inférieurs à 100 ns. Cette latence est nettement plus rapide que celle fournie par les commutateurs Ethernet traditionnels.

Au sein du réseau InfiniBand, les données sont transmises sous forme de paquets, chacun d'une taille maximale de 4 Ko, en utilisant une approche sérielle.

Pile de Protocoles InfiniBand

Le protocole InfiniBand adopte une approche structurée en couches, chaque couche fonctionnant indépendamment et fournissant des services à la couche située au-dessus d'elle. Le diagramme ci-dessous en donne une représentation visuelle :

La pile de protocoles InfiniBand comprend la couche physique, qui détermine comment les signaux binaires sont structurés en symboles sur le fil, en trames, en symboles de données et en données de remplissage entre les paquets. Elle offre des spécifications précises pour les protocoles de signalisation, ce qui facilite la construction de paquets efficaces.

En remontant la pile, la couche liaison définit le format des paquets de données et décrit les protocoles pour les opérations essentielles sur les paquets, comme le contrôle du flux, la sélection du routage, le codage et le décodage.

La couche réseau prend en charge la sélection du routage en ajoutant un en-tête de route globale (GRH) de 40 octets au paquet de données, ce qui facilite l'acheminement efficace des données.

Dans le processus de transmission, les routeurs exécutent des contrôles CRC variables, garantissant l'intégrité de la transmission des données de bout en bout.

En remontant la pile de protocoles, la couche transport se charge de livrer le paquet de données à une paire de files d'attente (QP) désignée et fournit des instructions à la QP sur la manière de traiter efficacement le paquet.

Les couches 1 à 4 bien définies d'InfiniBand constituent collectivement un protocole de réseau complet, et son contrôle de flux de bout en bout constitue le fondement de la transmission et de la réception des paquets du réseau, garantissant des réseaux sans perte.

Les paires de files d'attente (QP) jouent un rôle central dans la technologie RDMA. Composées de deux files d'attente - la file d'attente d'envoi (SQ) et la file d'attente de réception (RQ) - les paires de files d'attente servent d'unités de communication fondamentales. Lorsque les utilisateurs lancent des appels API pour envoyer ou recevoir des données, ils placent essentiellement les données dans la QP. Les demandes au sein de la QP sont ensuite traitées de manière séquentielle à l'aide d'un mécanisme d'interrogation.

Taux de Liaison InfiniBand

Les liaisons InfiniBand peuvent être établies à l'aide de câbles en cuivre ou en fibre optique, les câbles InfiniBand dédiés étant choisis en fonction des exigences de connexion spécifiques.

Au niveau de la couche physique, InfiniBand définit plusieurs vitesses de liaison, telles que 1X, 4X et 12X, chacune utilisant une connexion différentielle série à quatre fils, avec deux fils dans chaque direction.

Par exemple, les premières spécifications SDR (Single Data Rate) prévoyaient une largeur de bande de 2,5 Gbps pour une liaison 1X, de 10 Gbps pour une liaison 4X et de 30 Gbps pour une liaison 12X. Toutefois, en raison de l'utilisation du codage 8b/10b, la largeur de bande réelle pour une liaison 1X était de 2,0 Gbps. Compte tenu de la nature bidirectionnelle de la liaison, la largeur de bande totale par rapport au bus était de 4 Gbps.

Au fil du temps, la bande passante du réseau InfiniBand a connu des améliorations constantes, passant de SDR, DDR, QDR, FDR, EDR et HDR à NDR, XDR et GDR, comme le montre le diagramme ci-dessous :

Offres Commerciales InfiniBand

FS.com offers a diverse product portfolio covering speeds from 40G to 800G to meet customers' varying speed requirements, including NDR, HDR, EDR, and FRD.FS.com propose une gamme de produits diversifiée couvrant des vitesses comprises entre 40G et 800G afin de répondre aux différentes exigences des clients en matière de vitesse, notamment NDR, HDR, EDR et FRD. Notre gamme de produits comprend des switchs InfiniBand Quantum/Quantum-2, des modules InfiniBand, des adaptateurs InfiniBand, ainsi que des câbles AOC/DAC supportant des distances de 0,5 mètre à 100 mètres. Ces produits permettent non seulement des interconnexions à grande vitesse et une latence extrêmement faible, mais fournissent également des solutions évolutives qui accélèrent la recherche, l'innovation et le développement de produits pour les développeurs d'IA et dans le domaine de la recherche scientifique.

En outre, nous disposons de 7 entrepôts dans le monde entier, ce qui garantit une livraison rapide. FS effectue des tests rigoureux de performance, de fiabilité, de scénario et de compatibilité pour garantir la qualité de ses produits. FS.com dispose d'une équipe technique professionnelle et d'une riche expérience dans le domaine du déploiement de solutions à travers différents types d'applications. Nous fournissons activement des solutions pour le calcul haute performance, les centres de données, l'éducation, la recherche, la biomédecine, la finance, l'énergie, la conduite autonome, l'internet, la fabrication et les télécommunications. Nous fournissons des services professionnels à nos clients dans d'autres domaines également.

Conclusion

En résumé, la trajectoire d'InfiniBand semble prometteuse, propulsée par les demandes croissantes de calcul à haute performance.

Largement utilisé dans les grappes de calcul et les superordinateurs, InfiniBand se distingue par ses hautes performances et sa technologie d'interconnexion à faible latence. Elle répond de manière transparente aux exigences des transferts de données importants et des calculs simultanés en offrant une bande passante élevée et un temps de latence réduit. Sa capacité d'adaptation à diverses topologies et à des modèles de communication complexes confère à InfiniBand une position unique, ce qui en fait un choix formidable dans les domaines du calcul haute performance.

Néanmoins, Ethernet, une technologie de réseau omniprésente, reste sur une trajectoire d'évolution. Marqué par des vitesses croissantes et des avancées technologiques, Ethernet a consolidé sa position dans les centres de données et comblé certaines lacunes avec InfiniBand. Bénéficiant d'un écosystème complet et d'un support de normalisation mature, Ethernet apparaît comme une solution accessible et gérable dans les environnements typiques des centres de données.

Avec les progrès technologiques et l'évolution de la demande, InfiniBand et Ethernet sont en mesure de tirer parti de leurs atouts respectifs dans divers scénarios d'application. Le vainqueur final entre InfiniBand et Ethernet reste incertain, et seul le temps permettra de dévoiler la suite. Il ne fait aucun doute qu'ils continueront à orienter le développement des technologies de l'information, à répondre aux besoins croissants en matière de bande passante et à fournir des capacités ad hoc pour une transmission et un traitement efficaces des données.