Solution OSFP Infiniband NDR

La plateforme NVIDIA Quantum™-2 InfiniBand s'est imposée comme le premier choix pour l'intelligence artificielle et les centres de données cloud à grande échelle, offrant une bande passante ultra-élevée, une latence ultra-faible, ainsi qu'une exploitation et une maintenance simplifiées. Quantum™-2 représente une évolution significative par rapport à ses prédécesseurs, permettant de doubler la vitesse des ports, de multiplier par trois la densité des ports de commutation, de multiplier par cinq la capacité du système de commutation et de multiplier par 32 la capacité d'accélération de la commutation, ce qui est impressionnant. En s'appuyant sur la topologie Dragonfly+, le réseau Quantum™-2 peut atteindre une capacité de connexion remarquable de 400 Gb/s pour plus d'un million de nœuds en seulement trois sauts, offrant aux développeurs et scientifiques des performances réseau inégalées pour relever les défis au niveau global.

Commutateur InfiniBand NVIDIA Quantum™-2

Le switch NVIDIA Quantum™-2 InfiniBand présente deux modèles principaux : MQM9790-NS2F et MQM9700-NS2F. Leur principale distinction concerne la méthode de gestion, le NVIDIA QM9700 étant doté d'une interface de support de gestion externe. Les deux modèles partagent des types de ports et des vitesses identiques. Le commutateur NVIDIA QM9700 prend en charge des configurations flexibles, avec 64 ports 400G ou 128 ports 200G. Notamment, le NVIDIA QM9700 dispose d'un design 1U avec un seul panneau de 32*ports OSFP, chaque port OSFP prenant en charge 2X400G.

Le Quantum™-2 est équipé de la technologie NVIDIA SHARP de troisième génération, assurant une évolutivité presque infinie pour l'agrégation des données réseau à différentes échelles. Avec une capacité d'accélération de l'IA remarquablement 32 fois supérieure à celle de son prédécesseur, la technologie SHARP de troisième génération prend en charge plusieurs locataires et des applications parallèles, garantissant ainsi des performances optimales. Des fonctionnalités essentielles telles que l'accélération MPI_Alltoall, le moteur matériel de correspondance des balises MPI, le contrôle avancé de la congestion, le routage dynamique et le réseau auto-réparateur contribuent à des améliorations significatives pour les clusters de calcul à haute performance (HPC).

Carte ConnectX®-7 InfiniBand

La carte réseau InfiniBand ASIC NVIDIA ConnectX®-7 délivre un débit de données stupéfiant de 400 Gb/s, prenant en charge 16 voies d'interface hôte PCIe 5.0 ou PCIe 4.0. Utilisant la technologie SerDes avancée avec 100Gb/s par voie, l'InfiniBand 400Gb/s est obtenu grâce aux connecteurs OSFP sur les ports du commutateur et de l'HCA. Le connecteur OSFP du commutateur prend en charge deux ports InfiniBand à 400 Gb/s ou 200 Gb/s, tandis que la carte réseau HCA dispose d'un port InfiniBand à 400 Gb/s. La gamme de produits comprend des câbles en cuivre actifs et passifs, des émetteurs-récepteurs et des câbles en fibre MPO. Bien qu'ils utilisent tous deux un boîtier OSFP, les dimensions physiques sont différentes, le module OSFP côté commutateur étant équipé d'ailettes thermiques pour le refroidissement.

Solution de Connexion Optique NDR

Pour relever le défi de la connexion optique NDR, les ports de commutation NDR utilisent l'OSFP avec huit canaux par interface, chacun employant des SerDes à 100 Gb/s. Cela permet de disposer de trois options de vitesse de connexion courantes. Cela permet trois options de vitesse de connexion principales : 800G à 800G, 800G à 2X400G et 800G à 4X200G. De plus, chaque canal prend en charge la rétrogradation de 100Gb/s à 50Gb/s, ce qui facilite l'interopérabilité avec les dispositifs HDR de la génération précédente. Les câbles et émetteurs-récepteurs de la série 400G NDR offrent divers choix de produits pour configurer les systèmes de commutateurs et d'adaptateurs de réseau, notamment pour les centres de données d'une longueur maximale de 500 mètres afin d'accélérer les systèmes de calcul de l'IA. Les différents types de connecteurs, y compris les câbles passifs en cuivre (DAC), les câbles optiques actifs (AOC) et les modules optiques avec cavaliers, répondent aux différentes distances de transmission et exigences de bande passante, garantissant une faible latence et un taux d'erreur binaire extrêmement bas pour les applications à large bande passante et de calcul accéléré.

Aperçu Technologique de l'Émetteur-récepteur OSFP-SR8-800G InfiniBand

OSFP-SR8-800G FS se distingue en tant qu'émetteur-récepteur multimode à 8 canaux à 2x400Gb/s, employant la modulation 100G-PAM4. Cette technologie innovante utilise deux cavaliers de fibre multimode MPO-12/APC à 4 canaux, ce qui permet d'étendre la distance de transmission maximale à 50 mètres. Une caractéristique essentielle de cet émetteur-récepteur 2xSR4 à double port est l'incorporation de deux moteurs d'émission-réception internes, facilitant la réalisation de 64 ports 400Gb/s dans le commutateur Quantum™-2 avec 32*portsOSFP.

Scénarios de Déploiement du Module

L'émetteur-récepteur OSFP-SR8-800G remplit plusieurs fonctions dans l'écosystème du commutateur NDR InfiniBand Quantum™-2, en se connectant soit à d'autres commutateurs, soit à l'adaptateur ConnectX®-7/BlueField-3 DPU.

• 1. Commutateur NDR InfiniBand Quantum™-2 - Commutateur NDR InfiniBand Quantum™-2

Utilisant des émetteurs-récepteurs OSFP-SR8-800G et des cavaliers de fibre MPO-12/UPC, les commutateurs NVIDIA QM9700/QM9790 avec ports OSFP s'interconnectent à une vitesse de 800G (2x400G) dans une distance de transmission maximale de 50m.

• 2. Commutateur NDR InfiniBand Quantum™-2 - Adaptateur 400G ConnectX®-7 (OSFP/QSFP/QSFI9112)

800G vers 2x400 : L'émetteur-récepteur OSFP-SR8-800G à double port prend en charge jusqu'à deux adaptateurs ConnectX®-7 400G et/ou DPU, ce qui est facilité par des cavaliers de fibre MPO-12/UPC multimode à attachement direct. Les modules optiques OSFP-400G-SR4 sont utilisés pour les ports OSFP du côté de la carte réseau ConnectX®-7.

• 3. Commutateur NDR InfiniBand Quantum™-2 - Adaptateur 200G ConnectX®-7 (OSFP/QSFP112) / DPU BlueField-3 (QSFP112)

Lorsqu'il est utilisé avec deux cavaliers de fibre MPO à dérivation 1:2, l'émetteur-récepteur OSFP-SR8-800G à double port prend en charge jusqu'à quatre adaptateurs 200G ConnectX®-7 et/ou DPU. Comme dans le scénario précédent, les modules optiques OSFP-400G-SR4 sont utilisés pour les ports OSFP, tandis que les modules optiques Q112-400G-SR4 sont employés pour les ports QSFP112.

Dans les modules OSFP-400G-SR4 et Q112-400G-SR4, seuls deux canaux de l'émetteur-récepteur 400G sont activés, ce qui permet d'établir des liaisons à un débit de 200G.

• 4. Commutateur NDR InfiniBand Quantum™-2 - Systèmes de GPU DGX H100

Pour les systèmes de GPU DGX-H100 comprenant 8 GPU H100 "Hopper", chaque émetteur-récepteur OSFP-SR8-800G à double port établit deux liens ConnectX®-7 400G du DGX vers le commutateur Quantum™-2. Cette méthode simplifiée réduit la redondance, la complexité et le nombre de cartes ConnectX®-7 et d'émetteurs-récepteurs par rapport à la configuration du DGX A100. Le DGX-H100 prend également en charge des options de mise en réseau supplémentaires, notamment jusqu'à quatre ConnectX®-7 et/ou deux DPU BlueField-3 pour les E/S de stockage à l'aide d'InfiniBand et/ou d'Ethernet, ce qui offre une grande polyvalence pour diverses configurations réseau.

Émetteur-récepteur InfiniBand OSFP-400G-SR4

Introduction à la Technologie des Émetteurs-récepteurs Optiques

FS OSFP-400G-SR4 est un émetteur-récepteur multimode SR4 à un port, sous boîtier OSFP, avec une vitesse de 400 Gb/s, employant la modulation 100G-PAM4. Lorsqu'il est couplé à un cavalier de fibre multimode MPO-12/APC à 4 canaux, il atteint une distance de transmission maximale de 50 mètres. Lorsqu'il est utilisé avec un cavalier de fibre MPO à dérivation 1:2, seuls deux canaux sont activés à l'extrémité de la dérivation. Cette configuration unique crée automatiquement une vitesse de 200G, réduisant efficacement la consommation d'énergie.

Description de l'Utilisation du Module

L'émetteur-récepteur OSFP-400G-SR4 joue un rôle crucial dans la carte réseau à bus PCIe ConnectX®-7/OSFP 400Gb/s, en se connectant à un seul émetteur-récepteur OSFP 2x400G à double port 800Gb/s (OSFP-SR8-800G) au sein du commutateur InfiniBand Quantum™-2.

L'émetteur-récepteur OSFP-400G-SR4 prend en charge deux vitesses distinctes, 400Gb/s et 200Gb/s, en fonction du type de cavalier de fibre utilisé pour la connexion :

• Mode 400Gb/s: Associé à un cavalier de fibre MPO-12/APC, ce mode nécessite que l'émetteur-récepteur OSFP-SR8-800G de l'extrémité opposée soit associé à deux émetteurs-récepteurs OSFP-400G-SR4, chacun connecté à des cartes adaptatrices ConnectX®-7/OSFP à 200 Gb/s.

• Mode 200Gb/s : En utilisant un cavalier de fibre MPO à dérivation 1:2, l'OSFP-400G-SR4 fonctionne à une vitesse de 200Gb/s (NIDR200), réduisant automatiquement la consommation d'énergie puisque seuls 2 canaux sont activés. Dans ce mode, l'émetteur-récepteur OSFP-SR8-800G de l'extrémité opposée peut être associé à quatre émetteurs-récepteurs OSFP-400G-SR4, chacun connecté à des cartes adaptatrices ConnectX®-7/OSFP 200Gb/s.

• 1. Commutateur NDR InfiniBand Quantum™-2 - Adaptateur ConnectX®-7 (OSFP) 2 x 400G

L'émetteur-récepteur OSFP-SR8-800G à double port, lorsqu'il est associé à deux cavaliers de fibre multimode MPO-12/APC à fixation directe, peut prendre en charge un maximum de deux adaptateurs ConnectX®-7/OSFP. Chaque adaptateur utilise un émetteur-récepteur OSFP-400G-SR4, ce qui permet d'atteindre une distance de transmission maximale de 50 mètres.

• 2. Commutateur NDR InfiniBand Quantum™-2 - Adaptateur ConnectX®-7 (OSFP) 4x200G

De même, l'émetteur-récepteur OSFP-SR8-800G à double port, associé à deux cavaliers de fibre multimode MPO-12/APC à connexion directe (M4MPOA12FB), peut prendre en charge un maximum de deux adaptateurs ConnectX®-7/OSFP. Chaque adaptateur utilise un émetteur-récepteur OSFP-400G-SR4, ce qui permet d'atteindre une distance de transmission maximale de 50 mètres. L'adaptateur ConnectX®-7/OSFP fonctionne avec des modules OSFP-400G-SR4 avec seulement deux canaux activés, établissant un lien à un taux de 200G et réduisant automatiquement la consommation d'énergie.

Câbles InfiniBand MFA7U10-H030

Technologie du Câble Optique Actif (AOC)

Le câble Breakout FS NVIDIA InfiniBand MFA7U10-H030 compatible OSFP 400G vers QSFP56 2x200G est un câble séparateur optique actif (AOC) qui convertit l'OSFP en 2x QSFP56, permettant une vitesse de 400Gb/s en 2x 200Gb/s. Ce câble connecte chaque paire de signaux de données de 8 paires de fibres multimodes (MMF) provenant d'une seule extrémité OSFP à quatre paires sur chaque extrémité multi-port QSFP56.

Utilisation de l'AOC

Le MFA7U10-H030 est utilisé pour connecter un commutateur NDR avec des ports OSFP à 2 commutateurs HDR ou à des ports HCA QSFP56.

• Commutateur NDR InfiniBand Quantum™-2 - 2x Commutateur HDR InfiniBand Quantum

• Commutateur NDR InfiniBand Quantum™-2 - 2 x 200G QSFP56 Connect®-6 Adapter/BlueField-2 DPU

Câble à Fibre Optique MTP

Ce câble MTP est un câble de brassage passif à fibre optique multimode de 8 fibres, comprenant 8 fibres individuelles avec 4 fibres dans chaque direction. Les connecteurs MTP, de type APC (polissage à angle 8 degrés), minimisent les réflexions du signal optique et garantissent une intégrité optimale du signal. Ce câble est conçu pour interconnecter deux commutateurs ou connecter des commutateurs à deux adaptateurs de réseau, supportant des émetteurs-récepteurs enfichables à fibre optique 400GbE/NDR.

Le câble MTP est conçu pour relier deux commutateurs ou établir des connexions entre des commutateurs et deux adaptateurs réseau. Ce câble est polyvalent et peut être associé à des émetteurs-récepteurs enfichables à fibre optique 400GbE/NDR. Par exemple, il s'intègre parfaitement à l'émetteur-récepteur OSFP 800G 2xSR4 à double port conçu pour les systèmes InfiniBand et Ethernet du côté du commutateur. En outre, il complète les émetteurs-récepteurs OSFP-400G-SR4 ou QSFP112-400G-SR4 lorsqu'ils sont utilisés dans les adaptateurs réseau ConnectX®-7 et les DPU BlueField-3.

Présentation des Tests FS

Les tests comprennent des vérifications de la compatibilité matérielle (branchement/débranchement, redémarrage du port, redémarrage de l'alimentation), des vérifications de la compatibilité logicielle (connectivité, arrêt/absence d'arrêt, vérification des paramètres) et des vérifications de la performance (DDM, taux d'erreur binaire, vérification de la stabilité). La liaison a fonctionné à plein régime pendant une semaine, sans perte de paquets, sans erreurs CRC et sans interruptions. Tous les paramètres testés sont conformes aux normes industrielles en vigueur.

Résumé

Grâce à sa connaissance approfondie et à sa grande expérience en matière de mise en place de réseaux InfiniBand à haute performance, FS propose des combinaisons optimales de commutateurs, de cartes réseau intelligentes et de modules optiques AOC/DAC adaptés à divers scénarios d'application. Nos produits et solutions apportent des avantages substantiels et de la valeur aux centres de données, à l'informatique de haute performance, à l'informatique de pointe et à d'autres applications, améliorant les capacités d'accélération des activités grâce à une combinaison de prix compétitifs et de performances exceptionnelles.