Questions et Réponses Concernant la Technologie Infiniband

La demande en informatique de haute performance est en constante augmentation avec les progrès des technologies de big data. Pour répondre à cette demande, la plateforme NVIDIA Quantum-2 InfiniBand offre aux utilisateurs des performances informatiques distribuées exceptionnelles, permettant des capacités de transmission et de traitement des données à grande vitesse et à faible latence.

Voici quelques-unes des questions fréquemment posées au sujet de la technologie Infiniband.

Q : Est-ce que les câbles HDR/EDR sont compatibles avec le port QSFP112 du CX7 NDR200 ?

R : Oui, il est compatible.

Q : Comment la carte réseau CX7 NDR peut-elle être connectée au switch Quantum-2 QM97XX ?

R : La carte réseau CX7 NDR utilise les modules optiques 400GBASE-SR4 ou 400GBASE-DR4 de NVIDIA, tandis que le switch de la série QM97XX utilise les modules optiques 800GBASE-SR8 (équivalent à 2x400GBASE-SR4) ou 800GBASE-DR8 (équivalent à 2x400GBASE-DR4). Ces modules sont connectés à l'aide d'un câble de brassage multimode à polarité universelle APC à 12 brins.

Q : Est-ce que le CX7 Dual-port 400G peut atteindre 800G à travers une liaison (bonding) ? Pourquoi le 200G peut-il atteindre 400G à travers une liaison ?

R : Les performances globales du réseau sont déterminées par des facteurs tels que les goulots d'étranglement de la bande passante PCIe, la capacité de traitement de la carte réseau et la bande passante du port réseau physique. La carte réseau CX7 a une spécification PCIe 5.0 x16, avec une limite de bande passante théorique de 512 Gbps. En raison de la limitation maximale de la bande passante du PCIe 5.0 x16, le matériel pour le Dual-port 400G n'est pas disponible sur la carte réseau CX7.

Q : Comment connecter un câble un-à-deux ?

R : Pour obtenir des performances optimales, un câble un-à-deux (800G à 2X400G) doit être connecté à deux serveurs différents. Cela permet de s'assurer que le câble de dérivation n'est pas entièrement connecté à la carte réseau du serveur Ethernet, étant donné que les serveurs GPU disposent généralement de plusieurs cartes réseau.

Q : Comment les câbles un-à-deux sont-ils connectés dans les scénarios InfiniBand NDR ?

R : Dans les scénarios InfiniBand NDR, il existe deux types de câbles un-à-deux. Le premier type utilise des modules optiques avec des câbles de brassage un-à-deux (400G divisé en 2x200G), tels que MMS4X00-NS400 + MFP7E20-NXXX + MMS4X00-NS400 (déclassé pour une utilisation à 200G). Le second type utilise un câble DAC en cuivre un-à-deux (800G divisé en 2x400G), tel que MCP7Y00-NXXX ou MCP7Y10-NXXX.

Q : Dans un réseau Superpod, est-ce que quatre cartes NDR200 sur chaque serveur peuvent être directement connectées au même switch à l'aide d'un câble 1x4, ou doit-on utiliser deux câbles 1x2 pour connecter des switchs différents ?

R : Il n'est pas recommandé de connecter les quatre ports NDR200 de chaque serveur au même switch à l'aide d'un câble un-à-quatre dans un réseau Superpod. Cette méthode de connexion n'est pas conforme aux règles du réseau Superpod. Pour assurer une performance optimale de NCCL/SHARP, les switchs leaf doivent utiliser des câbles un-à-quatre pour connecter les ports NDR200 de différents serveurs selon un schéma spécifique.

Q : En ce qui concerne le dernier réseau Superpod, comme indiqué dans le livre blanc du réseau Superpod, il s'agit de configurer deux switchs IB avec le logiciel UFM séparément dans le réseau informatique. Toutefois, cette configuration réduit le nombre de nœuds GPU dans mon cluster. Si je choisis de ne pas installer un switch UFM séparé et de déployer le logiciel UFM uniquement sur le nœud de gestion, puis-je gérer le cluster via un autre ensemble de réseaux de stockage sans affecter le réseau informatique ?

R : Il est recommandé de configurer l'équipement UFM, y compris le logiciel. Le déploiement du logiciel UFM sur le nœud de gestion au sein du réseau informatique est une solution alternative, mais il ne doit pas supporter la charge de travail du calcul GPU. Le réseau de stockage fonctionne indépendamment en tant que plan de réseau distinct et ne peut pas être utilisé pour gérer la grappe de calcul.

Q : Quelles sont les distinctions entre UFM Enterprise, SDN, Telemetry et Cyber-Al ? Est-il nécessaire d'acheter l'UFM ?

R : Il est possible d'utiliser les outils opensm et command script inclus dans OFED pour une gestion et une surveillance simples, mais ces outils ne disposent pas d'une interface graphique conviviale pour l'UFM et de nombreuses fonctions.

Q : Y a-t-il une différence dans le nombre de gestionnaires de sous-réseaux requis pour le switch, OFED et UFM ? Lequel est le plus adapté au déploiement chez le client ?

R : La gestion des switchs convient aux réseaux comportant jusqu'à 2 000 nœuds. Les capacités de gestion des nœuds openSM de l'UFM et de l'OFED sont illimitées mais nécessitent une coordination avec les capacités de traitement du CPU et du matériel du nœud de gestion.

Q : Pourquoi un switch avec 64 ports 400Gb a-t-il 32 ports OSFP ?

R : La contrainte réside dans les limites de taille et de consommation d'énergie du panneau 2U, qui ne peut accueillir que 32 boîtiers. Cette configuration est conçue pour les interfaces OSFP qui supportent deux ports 400G. Il est important de différencier les concepts de châssis et de port pour le switch NDR.

Q : Est-il possible de connecter deux modules avec des interfaces différentes à l'aide d'un câble pour transmettre des données ? Par exemple, connecter un port OSFP sur un serveur à un port QSFP112 sur un switch à l'aide d'un câble ?

R : L'interconnexion des modules est indépendante du packaging. OSFP et QSFP112 décrivent principalement la taille physique du module. Tant que le type de média Ethernet est le même (c'est-à-dire que les deux extrémités de la liaison sont 400G-DR4 ou 400G-FR4, etc.), les modules OSFP et QSFP112 peuvent être mutuellement compatibles.

Q : Est-ce que l'UFM peut être utilisé pour la surveillance des réseaux RoCE ?

R : Non, UFM ne prend en charge que les réseaux InfiniBand.

Q : Est-ce que les fonctionnalités de l'UFM sont les mêmes pour les switchs gérés et non gérés ?

R : Oui, les fonctionnalités restent les mêmes.

Q：Quelle est la distance de transmission maximale supportée par les câbles InfiniBand sans affecter la bande passante et le temps de latence ?

R : La portée des modules optiques et des cavaliers est d'environ 500 m, celle des câbles DAC passifs est d'environ 3 m et celle des câbles ACC actifs peut atteindre 5 m.

Q : Est-ce que les cartes réseau CX7 peuvent être connectées à d'autres switchs Ethernet 400G qui prennent en charge RDMA en mode Ethernet ?

R : Il est possible d'établir une connexion Ethernet 400G, et RDMA (RoCE) peut fonctionner dans ces circonstances, mais la performance n'est pas garantie. Pour l'Ethernet 400G, il est recommandé d'utiliser la plateforme Spectrum-X composée de BF3+Spectrum-4.

Q : Si NDR est compatible avec HDR et EDR, est-ce que ces câbles et modules ne sont disponibles qu'en une seule pièce ?

R : Oui, les câbles DAC/AOC OSFP vers 2xQSFP56 sont généralement utilisés pour assurer la compatibilité avec HDR ou EDR.

Q : Est-ce que le module du côté de la carte réseau OSFP doit être un module plat ?

R : La carte réseau est livrée avec un dissipateur thermique, ce qui implique qu'un module plat peut être utilisé directement. Les modules à ailettes sont principalement utilisés du côté du switch refroidi par liquide.

Q : Est-ce que la carte réseau IB prend en charge RDMA en mode Ethernet ?

R : RDMA over Ethernet (RoCE) peut être activé, et il est recommandé d'utiliser la solution Nvidia Spectrum-X.

Q : Pourquoi les AOC NDR ne sont-ils pas disponibles ?

R : Les modules OSFP sont grands et lourds, ce qui rend les fibres optiques plus susceptibles d'être endommagées. Un câble à deux branches comporte trois grandes extrémités d'émetteur-récepteur, et un câble à quatre branches en comporte cinq. Cela augmente le risque de rupture de la fibre lors de l'installation, en particulier pour les AOC de 30 mètres.

Q : Est-ce que les câbles sont les mêmes pour le 400G IB et le 400G Ethernet, à part les différents modules optiques ?

R : Les câbles optiques sont les mêmes, mais il est important de noter qu'ils sont de type connecteur APC avec un angle de 8 degrés.

Q : Existe-t-il des exigences spécifiques en matière de latence pour les cartes réseau CX7 ? Quelle est l'exigence en matière de latence du réseau dans des environnements de débogage optimaux, tels que la mémoire complète et les cœurs liés ? Quelle est une valeur de latence acceptable, par exemple inférieure à combien de microsecondes ?

R : Les performances en matière de latence dépendent de la fréquence et de la configuration de l'appareil de test, ainsi que des outils de test utilisés, tels que perftest et MPI.

Q : Est-ce que le module du côté de la carte réseau OSFP doit être un module OSFP-flat ? Pourquoi y a-t-il une mention de OSFP-Riding Heatsink ?

R : "Riding heatsink" fait référence à un dissipateur thermique intégré dans le boîtier.

Q : Quelle est la place de l'UFM dans cette solution de cluster ? J'aimerais comprendre son rôle.

R : L'UFM fonctionne séparément sur un serveur et peut être traité comme un nœud. Elle prend en charge la haute disponibilité en utilisant deux serveurs. Toutefois, il n'est pas recommandé d'exécuter UFM sur un nœud qui gère également des charges de travail informatiques.

Q : Pour quelle échelle de clusters de réseau UFM est-il recommandé ?

R : Il est recommandé de configurer UFM pour tous les réseaux InfiniBand, car UFM fournit non seulement OpenSubnet Manager (openSM) mais aussi d'autres fonctions puissantes de gestion et d'interface.

Q : Est-ce que PCIe 5 supporte seulement jusqu'à 512G ? Qu'en est-il de PCIe 4 ?

R : PCIe Gen5 offre jusqu'à 32G x 16 voies, ce qui donne une bande passante maximale de 512G. D'autre part, PCIe Gen4 offre jusqu'à 16G x 16 voies, ce qui donne une bande passante maximale de 256G.

Q : Est-ce que les cartes réseau IB prennent en charge les modes simplex ou duplex ?

R : Les cartes réseau de l'IB sont toutes duplex. Le mode simplex ou duplex n'est qu'un concept pour les appareils actuels, car les canaux physiques de transmission et de réception des données sont déjà séparés.

Est-ce que FS fournit une assistance technique et des produits de haute qualité pour la création de grappes de réseaux IB ?

R : Bien entendu, FS est spécialisée dans la fourniture de solutions de calcul à haute performance et de centres de données. L'entreprise dispose d'une expérience et d'une expertise considérables dans la création de grappes de réseaux IB et fournit une variété de solutions de connectivité matérielle pour répondre aux différents besoins des clients.

La solution InfiniBand de FS comprend des câbles et des modules AOC/DAC à des vitesses de 800G, 400G, 200G, 100G et 56/40G, des adaptateurs NVIDIA InfiniBand et des switchs NVIDIA InfiniBand. Dans les solutions de cluster de réseau IB, l'équipe technique spécialisée de FS fournira les solutions de connectivité matérielle appropriées en fonction de vos besoins et de l'échelle du réseau, garantissant ainsi la stabilité et la haute performance du réseau.

Pour plus d'informations et une assistance, veuillez visiterFS.COM.