InfiniBand vs. Ethernet : Qu'est-ce que c'est ?
En tant que technologies d'interconnexion, InfiniBand et Ethernet ont leurs propres caractéristiques et différences, et il est impossible de déterminer laquelle est la meilleure. Ces technologies continuent de se développer et d'évoluer dans différents domaines d'application et sont devenues deux éléments d'interconnexion indispensables dans le monde des réseaux.
Réseau InfiniBand vs. Réseau Ethernet
Réseau InfiniBand
La différence entre InfiniBand et Ethernet est très importante du point de vue de la conception. En tant que technologie d'interconnexion de réseaux, InfiniBand est largement utilisé dans les grappes de superordinateurs en raison de sa grande fiabilité, de sa faible latence et de sa large bande passante. En outre, c'est la technologie d'interconnexion de réseau préférée pour les serveurs GPU, à mesure que l'HPC évolue.
Pour atteindre un débit brut de 10 Gbits/s sur des câbles 4X, la norme InfiniBand permet la transmission de signaux à débit unique (SDR) à un débit de base de 2,5 Gbits/s par voie. Un canal unique peut être augmenté à 5Gbits/sec et 10Gbits/sec respectivement, et le débit de données maximal potentiel est de 40Gbits/sec sur des câbles 4X et de 120Gbits/sec sur des câbles 12X, ce qui permet aux réseaux InfiniBand d'avoir des signaux à double débit de données (DDR) et à quadruple débit de données (QDR).
Réseau Ethernet
Depuis son introduction le 30 septembre 1980, le standard Ethernet est devenu le protocole de communication le plus utilisé dans les réseaux locaux. Contrairement à InfiniBand, Ethernet a été conçu avec les principaux objectifs suivants à l'esprit : Comment l'information peut-elle circuler facilement entre plusieurs systèmes ? Il s'agit d'un réseau typique conçu pour la distribution et la compatibilité. L'Ethernet traditionnel utilise principalement le TCP/IP pour établir un réseau, et il s'est progressivement transformé en RoCE jusqu'à présent.
En général, les réseaux Ethernet sont principalement utilisés pour connecter plusieurs ordinateurs ou d'autres appareils tels que des imprimantes, des scanners, etc. à un réseau local. Il peut non seulement connecter le réseau Ethernet au réseau câblé par l'intermédiaire d'un câble à fibre optique, mais aussi réaliser le réseau Ethernet dans le réseau sans fil grâce à la technologie de mise en réseau sans fil. Fast Ethernet, Gigabit Ethernet, 10 Gigabit Ethernet et Switched Ethernet sont les principaux types d'Ethernet.
''Consultez Également - Un Aperçu des Différences : RoCE vs Infiniband RDMA vs TCP/IP
Les Différences entre InfiniBand et Ethernet
Les goulets d'étranglement de la transmission de données en grappes dans les scénarios de calcul à haute performance constituent l'objectif initial de la conception d'InfiniBand, qui est devenu une norme d'interconnexion en phase avec les exigences de l'époque. InfiniBand et Ethernet présentent donc de nombreuses différences, principalement en termes de bande passante, de latence, de fiabilité du réseau, de technologie de réseau et de scénarios d'application.
Largeur de Bande
Depuis la naissance d'InfiniBand, le développement du réseau InfiniBand a longtemps été plus rapide que celui d'Ethernet. La raison principale est qu'InfiniBand est appliqué à l'interconnexion entre serveurs dans le cadre de l'informatique à haute performance et qu'il réduit la charge de l'unité centrale. Cependant, Ethernet est plus orienté vers les interconnexions de terminaux, et quand les besoins en bande passante ne sont pas trop importants.
Pour un trafic réseau à grande vitesse supérieur à 10G, si tous les paquets sont décompressés, cela consomme beaucoup de ressources. La première génération de SDR InfiniBand fonctionne à un taux de 10 Gbps, ce qui permet une transmission réseau à grande vitesse pour décharger l'unité centrale et augmenter l'utilisation du réseau, tout en augmentant la largeur de bande de transmission des données et en diminuant la charge de l'unité centrale.
Latence du Réseau
InfiniBand et Ethernet se comportent également de manière très différente en ce qui concerne la latence du réseau. Les switchs Ethernet utilisent généralement l'adressage par stockage et transfert et l'adressage par consultation de la table MAC en tant que technologies de couche 2 dans le modèle de transport du réseau. Le flux de traitement des switchs Ethernet est plus long que celui des switchs InfiniBand, car des services complexes tels que IP, MPLS et QinQ doivent être pris en compte.
Le traitement de la couche 2, en revanche, est très simple pour les switchs InfiniBand. Le LID de 16 bits est le seul à pouvoir être utilisé pour rechercher les informations relatives au chemin d'acheminement. En parallèle, la technologie Cut-Through est utilisée pour réduire de manière significative le délai d'acheminement à moins de 100 ns, ce qui est nettement plus rapide qu'un switch Ethernet.
Fiabilité du Réseau
La perte et la retransmission de paquets ayant un impact significatif sur les performances globales de l'informatique à haute performance, un protocole de réseau hautement fiable est nécessaire pour garantir les caractéristiques sans perte du réseau au niveau du mécanisme et réaliser ses caractéristiques de haute fiabilité. Avec ses propres formats définis de la couche 1 à la couche 4, InfiniBand est un protocole de réseau complet. Le contrôle de flux de bout en bout est la base de l'envoi et de la réception des paquets du réseau InfiniBand, ce qui permet d'obtenir un réseau sans perte.
Par rapport à InfiniBand, le réseau Ethernet ne dispose pas d'un mécanisme de contrôle de flux basé sur l'ordonnancement. Par conséquent, il est impossible de garantir que l'extrémité du pair sera encombrée lors de l'envoi de paquets. Pour pouvoir absorber l'augmentation soudaine du trafic instantané dans le réseau, il est nécessaire d'ouvrir un espace de cache de plusieurs dizaines de Mo dans le switch pour stocker temporairement ces messages, qui occupent les ressources de la puce. Cela signifie que la surface de la puce d'un switch Ethernet ayant les mêmes spécifications est nettement plus grande que celle d'une puce InfiniBand, qui non seulement coûte plus cher mais consomme aussi plus d'énergie.
Méthodes de Mise en Réseau
En termes de mode de mise en réseau, le réseau InfiniBand est plus simple à gérer que le réseau Ethernet. L'idée de SDN est intégrée dans InfiniBand de par sa conception. Un gestionnaire de sous-réseau sera présent sur chaque réseau InfiniBand de couche 2 pour configurer l'ID (LocalID) des nœuds du réseau, calculer uniformément les informations sur le chemin d'acheminement via le plan de contrôle et les transmettre à l'échange InfiniBand. Pour compléter la configuration du réseau, un tel réseau de couche 2 doit être configuré sans aucune configuration.
Le mode réseau Ethernet permet de générer automatiquement des entrées MAC, et l'IP doit coopérer avec le protocole ARP. De plus, chaque serveur du réseau doit envoyer régulièrement des paquets pour garantir la mise à jour des entrées en temps réel. Pour diviser le réseau virtuel et limiter son ampleur, il faut donc mettre en œuvre le mécanisme des VLAN. Cependant, comme le réseau Ethernet lui-même ne dispose pas d'un mécanisme d'apprentissage des entrées, il en résultera un réseau en boucle. Pour éviter les boucles dans le chemin d'acheminement du réseau, des protocoles comme STP doivent être mis en œuvre, ce qui augmente la complexité de la configuration du réseau.
Scénarios d'Application
InfiniBand est largement utilisé dans les environnements HPC en raison de sa large bande passante, de sa faible latence et de son support optimisé pour le calcul parallèle. Il est conçu pour répondre aux exigences de communication des clusters HPC, où le traitement de données à grande échelle et la communication fréquente entre les nœuds sont indispensables. Ethernet, quant à lui, est couramment utilisé dans les réseaux d'entreprise, l'accès à l'internet et les réseaux domestiques, et ses principaux avantages sont son faible coût, sa standardisation et son large support.
Au cours des dernières années, la demande de capacités de calcul à grande échelle a explosé, ce qui a entraîné la nécessité d'une communication à grande vitesse au sein des machines et d'une communication à faible latence et à grande largeur de bande entre les machines dans les grappes de supercalculateurs à grande échelle. D'après les statistiques des utilisateurs des 500 premiers centres de supercalcul, les réseaux IB jouent un rôle essentiel dans les 10 et 100 premiers centres. Par exemple, OpenAI utilise le réseau IB construit dans Microsoft Azure pour entraîner CHATGPT, ce qui entraîne une augmentation significative de la demande pour les grands centres de supercalcul.
Trouver Vos Produits InfiniBand
À en juger par la comparaison entre InfiniBand et Ethernet ci-dessus, les avantages des réseaux InfiniBand sont très importants. Les itérations rapides du réseau InfiniBand, de SDR 10Gbps, DDR 20Gbps, QDR 40Gps, FDR56Gbps, EDR 100Gbps à l'InfiniBand 800Gbps d'aujourd'hui, bénéficient toutes de la technologie RDMA.
FS a lancé de nombreux produits InfiniBand, notamment des émetteurs-récepteurs InfiniBand et des câbles DAC/AOC, des adaptateurs InfiniBand et des switchs InfiniBand. Examinons-les un par un.
Émetteurs-récepteurs InfiniBand et Câbles DAC/AOC
FS propose une large gamme d'émetteurs-récepteurs et de câbles InfiniBand 40G-200G pour favoriser une interconnexion hautement efficace des infrastructures de calcul et de stockage.
Type de Produit | Produit | Application | Connecteur |
---|---|---|---|
Émetteur-récepteur InfiniBand | 40G Transceiver | InfiniBand FDR10 | MTP/MPO-12 |
100G Transceiver | InfiniBand EDR | Duplex LC | |
200G Transceiver | InfiniBand HDR | MTP/MPO-12 | |
400G Transceiver | InfiniBand NDR | MTP/MPO-12 APC | |
800G Transceiver | InfiniBand NDR | Dual MTP/MPO-12 APC | |
Câble DAC InfiniBand | 40G DAC Cable | InfiniBand FDR10 | QSFP+ vers QSFP+ |
56G DAC Cable | InfiniBand FDR | QSFP+ vers QSFP+ | |
100G DAC Cable | InfiniBand EDR | QSFP28 vers QSFP28 | |
200G DAC Cable | InfiniBand HDR | QSFP56 vers QSFP56; QSFP56 vers 2 QSFP56 | |
400G DAC Cable | InfiniBand HDR | OSFP vers 2x QSFP56 | |
800G DAC Cable | InfiniBand NDR | OSFP vers OSFP; OSFP vers 2× OSFP; OSFP vers 4× OSFP | |
Câble AOC InfiniBand | 40G AOC Cable | InfiniBand FDR10 | QSFP+ vers QSFP+ |
56G AOC Cable | InfiniBand FDR | QSFP+ vers QSFP+ | |
100G AOC Cable | InfiniBand EDR | QSFP28 vers QSFP28 | |
200G AOC Cable | InfiniBand HDR | QSFP56 vers QSFP56; QSFP56 vers 2x QSFP56; 2x QSFP56 vers 2x QSFP56 | |
400G AOC Cable | InfiniBand HDR | OSFP vers 2× QSFP56 |
Adaptateurs InfiniBand
Les adaptateurs FS InfiniBand constituent la solution la plus performante et la plus flexible pour répondre aux exigences sans cesse croissantes des applications des centres de données. En plus de toutes les caractéristiques innovantes des versions précédentes, les cartes ConnectX-6 et ConnectX-7 offrent un certain nombre d'améliorations pour accroître encore les performances et l'évolutivité.
Produits | Vitesse | Interface Hôte | Ports |
---|---|---|---|
MCX653105A-ECAT-SP | HDR et 100Gb/s | PCIe 4.0x16 | Port unique |
MCX653106A-HDAT-SP | HDR et 200Gb/s | PCIe 4.0x16 | Port double |
MCX653106A-ECAT-SP | HDR et 100Gb/s | PCIe 4.0x16 | Port double |
MCX653105A-HDAT-SP | HDR et 200Gb/s | PCIe 4.0x16 | Port unique |
MCX75510AAS-NEAT | NDR et 400Gb/s |
PCIe 5.0x16
|
Port unique |
Switchs InfiniBand
Grâce aux switchs InfiniBand, NVIDIA Quantum/Quantum-2 apporte une interconnexion à haut débit jusqu'à 200Gb/s、400Gb/s, une latence extrêmement faible et une solution évolutive qui accélère la recherche, l'innovation et le développement de produits pour les développeurs des recherches scientifiques.
Produits | MQM8700-HS2F | MQM8790-HS2F | MQM9700-NS2F | MQM9790-NS2F |
---|---|---|---|---|
Type de Port | 40 x HDR QSFP56 | 40 x HDR QSFP56 | 64 x NDR 400G | 64 x NDR 400G |
Fonction | Switch géré | Switch non géré | Switch géré | Switch non géré |
Logiciel | MLNX-OS | MLNX-OS | MLNX-OS | MLNX-OS |
Alimentations AC | 1+1 remplaçable à chaud | 1+1 remplaçable à chaud | 1+1 remplaçable à chaud | 1+1 remplaçable à chaud |
Quantité de ventilateur | N+1 Remplaçable à chaud | N+1 Remplaçable à chaud | 6+1 Remplaçable à chaud | 6+1 Remplaçable à chaud |
Flux d'air | Arrière vers l'avant | Arrière vers l'avant | Arrière vers l'avant(P2C) | Arrière vers l'avant(P2C) |
Conclusion
En effet, il existe des scénarios d'application adaptés entre InfiniBand et Ethernet. L'unité centrale ne sacrifie pas plus de ressources pour le traitement du réseau en raison de l'augmentation significative du taux apportée par le réseau InfiniBand, ce qui améliore l'utilisation du réseau. C'est l'une des principales raisons pour lesquelles le réseau InfiniBand deviendra la principale solution de réseau pour l'industrie du calcul à haute performance. Des produits InfiniBand GDR à 1600 Gbps et LDR à 3200 Gbps apparaîtront également à l'avenir. Si le délai de communication entre les nœuds du centre de données n'est pas très important, et si la flexibilité de l'accès et d'expansion est plus importante, les réseaux Ethernet peuvent être adoptés à long terme.