Français

InfiniBand vs. Ethernet : Qu'est-ce que c'est ?

Mis à jour depuis le 01 mars, 2023 by
2.2k

En tant que technologies d'interconnexion, InfiniBand et Ethernet ont leurs propres caractéristiques et différences, et il est impossible de déterminer laquelle est la meilleure. Ces technologies continuent de se développer et d'évoluer dans différents domaines d'application et sont devenues deux éléments d'interconnexion indispensables dans le monde des réseaux.

Réseau InfiniBand vs. Réseau Ethernet

Réseau InfiniBand

La différence entre InfiniBand et Ethernet est très importante du point de vue de la conception. En tant que technologie d'interconnexion de réseaux, InfiniBand est largement utilisé dans les grappes de superordinateurs en raison de sa grande fiabilité, de sa faible latence et de sa large bande passante. En outre, c'est la technologie d'interconnexion de réseau préférée pour les serveurs GPU, à mesure que l'HPC évolue.

Pour atteindre un débit brut de 10 Gbits/s sur des câbles 4X, la norme InfiniBand permet la transmission de signaux à débit unique (SDR) à un débit de base de 2,5 Gbits/s par voie. Un canal unique peut être augmenté à 5Gbits/sec et 10Gbits/sec respectivement, et le débit de données maximal potentiel est de 40Gbits/sec sur des câbles 4X et de 120Gbits/sec sur des câbles 12X, ce qui permet aux réseaux InfiniBand d'avoir des signaux à double débit de données (DDR) et à quadruple débit de données (QDR).

InfiniBand Network

Réseau Ethernet

Depuis son introduction le 30 septembre 1980, le standard Ethernet est devenu le protocole de communication le plus utilisé dans les réseaux locaux. Contrairement à InfiniBand, Ethernet a été conçu avec les principaux objectifs suivants à l'esprit : Comment l'information peut-elle circuler facilement entre plusieurs systèmes ? Il s'agit d'un réseau typique conçu pour la distribution et la compatibilité. L'Ethernet traditionnel utilise principalement le TCP/IP pour établir un réseau, et il s'est progressivement transformé en RoCE jusqu'à présent.

En général, les réseaux Ethernet sont principalement utilisés pour connecter plusieurs ordinateurs ou d'autres appareils tels que des imprimantes, des scanners, etc. à un réseau local. Il peut non seulement connecter le réseau Ethernet au réseau câblé par l'intermédiaire d'un câble à fibre optique, mais aussi réaliser le réseau Ethernet dans le réseau sans fil grâce à la technologie de mise en réseau sans fil. Fast Ethernet, Gigabit Ethernet, 10 Gigabit Ethernet et Switched Ethernet sont les principaux types d'Ethernet.

Ethernet Network

 

 ''Consultez Également - Un Aperçu des Différences : RoCE vs Infiniband RDMA vs TCP/IP

Les Différences entre InfiniBand et Ethernet

Les goulets d'étranglement de la transmission de données en grappes dans les scénarios de calcul à haute performance constituent l'objectif initial de la conception d'InfiniBand, qui est devenu une norme d'interconnexion en phase avec les exigences de l'époque. InfiniBand et Ethernet présentent donc de nombreuses différences, principalement en termes de bande passante, de latence, de fiabilité du réseau, de technologie de réseau et de scénarios d'application.

Largeur de Bande

Depuis la naissance d'InfiniBand, le développement du réseau InfiniBand a longtemps été plus rapide que celui d'Ethernet. La raison principale est qu'InfiniBand est appliqué à l'interconnexion entre serveurs dans le cadre de l'informatique à haute performance et qu'il réduit la charge de l'unité centrale. Cependant, Ethernet est plus orienté vers les interconnexions de terminaux, et quand les besoins en bande passante ne sont pas trop importants.

Pour un trafic réseau à grande vitesse supérieur à 10G, si tous les paquets sont décompressés, cela consomme beaucoup de ressources. La première génération de SDR InfiniBand fonctionne à un taux de 10 Gbps, ce qui permet une transmission réseau à grande vitesse pour décharger l'unité centrale et augmenter l'utilisation du réseau, tout en augmentant la largeur de bande de transmission des données et en diminuant la charge de l'unité centrale.

Latence du Réseau

InfiniBand et Ethernet se comportent également de manière très différente en ce qui concerne la latence du réseau. Les switchs Ethernet utilisent généralement l'adressage par stockage et transfert et l'adressage par consultation de la table MAC en tant que technologies de couche 2 dans le modèle de transport du réseau. Le flux de traitement des switchs Ethernet est plus long que celui des switchs InfiniBand, car des services complexes tels que IP, MPLS et QinQ doivent être pris en compte.

Le traitement de la couche 2, en revanche, est très simple pour les switchs InfiniBand. Le LID de 16 bits est le seul à pouvoir être utilisé pour rechercher les informations relatives au chemin d'acheminement. En parallèle, la technologie Cut-Through est utilisée pour réduire de manière significative le délai d'acheminement à moins de 100 ns, ce qui est nettement plus rapide qu'un switch Ethernet.

Fiabilité du Réseau

La perte et la retransmission de paquets ayant un impact significatif sur les performances globales de l'informatique à haute performance, un protocole de réseau hautement fiable est nécessaire pour garantir les caractéristiques sans perte du réseau au niveau du mécanisme et réaliser ses caractéristiques de haute fiabilité. Avec ses propres formats définis de la couche 1 à la couche 4, InfiniBand est un protocole de réseau complet. Le contrôle de flux de bout en bout est la base de l'envoi et de la réception des paquets du réseau InfiniBand, ce qui permet d'obtenir un réseau sans perte.

Par rapport à InfiniBand, le réseau Ethernet ne dispose pas d'un mécanisme de contrôle de flux basé sur l'ordonnancement. Par conséquent, il est impossible de garantir que l'extrémité du pair sera encombrée lors de l'envoi de paquets. Pour pouvoir absorber l'augmentation soudaine du trafic instantané dans le réseau, il est nécessaire d'ouvrir un espace de cache de plusieurs dizaines de Mo dans le switch pour stocker temporairement ces messages, qui occupent les ressources de la puce. Cela signifie que la surface de la puce d'un switch Ethernet ayant les mêmes spécifications est nettement plus grande que celle d'une puce InfiniBand, qui non seulement coûte plus cher mais consomme aussi plus d'énergie.

Méthodes de Mise en Réseau

En termes de mode de mise en réseau, le réseau InfiniBand est plus simple à gérer que le réseau Ethernet. L'idée de SDN est intégrée dans InfiniBand de par sa conception. Un gestionnaire de sous-réseau sera présent sur chaque réseau InfiniBand de couche 2 pour configurer l'ID (LocalID) des nœuds du réseau, calculer uniformément les informations sur le chemin d'acheminement via le plan de contrôle et les transmettre à l'échange InfiniBand. Pour compléter la configuration du réseau, un tel réseau de couche 2 doit être configuré sans aucune configuration.

Le mode réseau Ethernet permet de générer automatiquement des entrées MAC, et l'IP doit coopérer avec le protocole ARP. De plus, chaque serveur du réseau doit envoyer régulièrement des paquets pour garantir la mise à jour des entrées en temps réel. Pour diviser le réseau virtuel et limiter son ampleur, il faut donc mettre en œuvre le mécanisme des VLAN. Cependant, comme le réseau Ethernet lui-même ne dispose pas d'un mécanisme d'apprentissage des entrées, il en résultera un réseau en boucle. Pour éviter les boucles dans le chemin d'acheminement du réseau, des protocoles comme STP doivent être mis en œuvre, ce qui augmente la complexité de la configuration du réseau.

InfiniBand Networking

Scénarios d'Application

InfiniBand est largement utilisé dans les environnements HPC en raison de sa large bande passante, de sa faible latence et de son support optimisé pour le calcul parallèle. Il est conçu pour répondre aux exigences de communication des clusters HPC, où le traitement de données à grande échelle et la communication fréquente entre les nœuds sont indispensables. Ethernet, quant à lui, est couramment utilisé dans les réseaux d'entreprise, l'accès à l'internet et les réseaux domestiques, et ses principaux avantages sont son faible coût, sa standardisation et son large support.

Au cours des dernières années, la demande de capacités de calcul à grande échelle a explosé, ce qui a entraîné la nécessité d'une communication à grande vitesse au sein des machines et d'une communication à faible latence et à grande largeur de bande entre les machines dans les grappes de supercalculateurs à grande échelle. D'après les statistiques des utilisateurs des 500 premiers centres de supercalcul, les réseaux IB jouent un rôle essentiel dans les 10 et 100 premiers centres. Par exemple, OpenAI utilise le réseau IB construit dans Microsoft Azure pour entraîner CHATGPT, ce qui entraîne une augmentation significative de la demande pour les grands centres de supercalcul.

 

Trouver Vos Produits InfiniBand

À en juger par la comparaison entre InfiniBand et Ethernet ci-dessus, les avantages des réseaux InfiniBand sont très importants. Les itérations rapides du réseau InfiniBand, de SDR 10Gbps, DDR 20Gbps, QDR 40Gps, FDR56Gbps, EDR 100Gbps à l'InfiniBand 800Gbps d'aujourd'hui, bénéficient toutes de la technologie RDMA.

FS a lancé de nombreux produits InfiniBand, notamment des émetteurs-récepteurs InfiniBand et des câbles DAC/AOC, des adaptateurs InfiniBand et des switchs InfiniBand. Examinons-les un par un.

Émetteurs-récepteurs InfiniBand et Câbles DAC/AOC

FS propose une large gamme d'émetteurs-récepteurs et de câbles InfiniBand 40G-200G pour favoriser une interconnexion hautement efficace des infrastructures de calcul et de stockage.

Type de Produit Produit Application Connecteur
Émetteur-récepteur InfiniBand 40G Transceiver InfiniBand FDR10 MTP/MPO-12
100G Transceiver InfiniBand EDR Duplex LC
200G Transceiver InfiniBand HDR MTP/MPO-12
400G Transceiver InfiniBand NDR MTP/MPO-12 APC
800G Transceiver InfiniBand NDR Dual MTP/MPO-12 APC
Câble DAC InfiniBand 40G DAC Cable InfiniBand FDR10 QSFP+ vers QSFP+
56G DAC Cable InfiniBand FDR QSFP+ vers QSFP+
100G DAC Cable InfiniBand EDR QSFP28 vers QSFP28
200G DAC Cable InfiniBand HDR QSFP56 vers QSFP56; QSFP56 vers 2 QSFP56
400G DAC Cable InfiniBand HDR OSFP vers 2x QSFP56
800G DAC Cable InfiniBand NDR OSFP vers OSFP; OSFP vers 2× OSFP; OSFP vers 4× OSFP
Câble AOC InfiniBand 40G AOC Cable InfiniBand FDR10 QSFP+ vers QSFP+
56G AOC Cable InfiniBand FDR QSFP+ vers QSFP+
100G AOC Cable InfiniBand EDR QSFP28 vers QSFP28
200G AOC Cable InfiniBand HDR QSFP56 vers QSFP56; QSFP56 vers 2x QSFP56; 2x QSFP56 vers 2x QSFP56
400G AOC Cable InfiniBand HDR OSFP vers 2× QSFP56

Adaptateurs InfiniBand

Les adaptateurs FS InfiniBand constituent la solution la plus performante et la plus flexible pour répondre aux exigences sans cesse croissantes des applications des centres de données. En plus de toutes les caractéristiques innovantes des versions précédentes, les cartes ConnectX-6 et ConnectX-7 offrent un certain nombre d'améliorations pour accroître encore les performances et l'évolutivité.

Produits Vitesse Interface Hôte Ports
MCX653105A-ECAT-SP HDR et 100Gb/s PCIe 4.0x16 Port unique
MCX653106A-HDAT-SP HDR et 200Gb/s PCIe 4.0x16 Port double
MCX653106A-ECAT-SP HDR et 100Gb/s PCIe 4.0x16 Port double
MCX653105A-HDAT-SP HDR et 200Gb/s PCIe 4.0x16 Port unique
MCX75510AAS-NEAT NDR et 400Gb/s
PCIe 5.0x16
Port unique

Switchs InfiniBand

Grâce aux switchs InfiniBand, NVIDIA Quantum/Quantum-2 apporte une interconnexion à haut débit jusqu'à 200Gb/s、400Gb/s, une latence extrêmement faible et une solution évolutive qui accélère la recherche, l'innovation et le développement de produits pour les développeurs des recherches scientifiques.

Produits MQM8700-HS2F MQM8790-HS2F MQM9700-NS2F MQM9790-NS2F
Type de Port 40 x HDR QSFP56 40 x HDR QSFP56 64 x NDR 400G 64 x NDR 400G
Fonction Switch géré Switch non géré Switch géré Switch non géré
Logiciel MLNX-OS MLNX-OS MLNX-OS MLNX-OS
Alimentations AC 1+1 remplaçable à chaud 1+1 remplaçable à chaud 1+1 remplaçable à chaud 1+1 remplaçable à chaud
Quantité de ventilateur N+1 Remplaçable à chaud N+1 Remplaçable à chaud 6+1 Remplaçable à chaud 6+1 Remplaçable à chaud
Flux d'air Arrière vers l'avant Arrière vers l'avant Arrière vers l'avant(P2C) Arrière vers l'avant(P2C)

Conclusion

En effet, il existe des scénarios d'application adaptés entre InfiniBand et Ethernet. L'unité centrale ne sacrifie pas plus de ressources pour le traitement du réseau en raison de l'augmentation significative du taux apportée par le réseau InfiniBand, ce qui améliore l'utilisation du réseau. C'est l'une des principales raisons pour lesquelles le réseau InfiniBand deviendra la principale solution de réseau pour l'industrie du calcul à haute performance. Des produits InfiniBand GDR à 1600 Gbps et LDR à 3200 Gbps apparaîtront également à l'avenir. Si le délai de communication entre les nœuds du centre de données n'est pas très important, et si la flexibilité de l'accès et d'expansion est plus importante, les réseaux Ethernet peuvent être adoptés à long terme.

InfiniBand Roadmap

Cela pourrait également vous intéresser

Connaissances
Connaissances
See profile for Sheldon.
Sheldon
Qu'est-ce qu'un Port SFP ?
27 sept, 2024
4.9k
Connaissances
Connaissances
See profile for Migelle.
Migelle
Switch PoE, PoE+ ou PoE++ : Lequel choisir ?
25 août, 2021
51.6k
Connaissances
See profile for Sheldon.
Sheldon
Quelle est la différence entre LACP et PAGP ?
29 déc, 2021
18.7k
Connaissances
See profile for Migelle.
Migelle
Switch PoE actif ou passif : lequel choisir ?
28 févr, 2022
21.4k
Connaissances
See profile for Vincent.
Vincent
Comprendre le transceiver bidirectionnel BiDi
05 janv, 2022
10.5k
Connaissances
See profile for Moris.
Moris
Câbles à fibre optique Simplex ou Duplex
25 nov, 2018
19.4k