Fragen und Antworten zur Infiniband-Technologie

Mit den Fortschritten in den Bereichen Big Data und künstliche Intelligenz steigt die Nachfrage nach High-Performance-Computing stetig an. Um diese Nachfrage zu decken, bietet die NVIDIA Quantum-2 InfiniBand-Plattform Anwendern eine außergewöhnliche verteilte Rechenleistung, die Hochgeschwindigkeitsdatenübertragung und -verarbeitung mit geringer Latenz ermöglicht.

Dies sind allgemeine Fragen und Antworten zur IB-Technologie.

F: Ist der CX7 NDR200 QSFP112-Port mit HDR/EDR-Kabeln kompatibel?

A: Ja, er ist kompatibel.

F: Wie kann die CX7 NDR-Netzwerkkarte mit dem Quantum-2 QM97XX-Switch verbunden werden?

A: Die CX7 NDR-Netzwerkkarte verwendet die optischen Module 400GBASE-SR4 oder 400GBASE-DR4 von NVIDIA, während der Switch der Serie QM97XX optische Module 800GBASE-SR8 (entspricht 2x400GBASE-SR4) oder 800GBASE-DR8 (entspricht 2x400GBASE-DR4) verwendet. Diese Module werden über ein Multimode-Patchkabel mit 12 Adern und mit universeller Polarität (APC) an der Vorderseite angeschlossen.

F:Kann die CX7 Dual-Port 400G durch Bonding 800G erzielen? Warum kann 200G durch Bonding 400G erzielen?

A: Die Gesamtleistung des Netzwerks wird von Faktoren wie dem PCIe-Bandbreitenengpass, der Verarbeitungskapazität der Netzwerkkarte und der Bandbreite der physischen Netzwerk-Ports bestimmt. Die CX7-Netzwerkkarte hat eine PCIe-Spezifikation von 5.0 x16, mit einer theoretischen Bandbreitenbegrenzung von 512 Gbps. Aufgrund der maximalen Bandbreitenbegrenzung von PCIe 5.0 x16 ist die Hardware für Dual-Port 400G auf der CX7-Netzwerkkarte nicht verfügbar.

F: Wie wird ein Eins-zu-Zwei-Kabel angeschlossen?

A: Um eine optimale Leistung zu erzielen, muss ein Eins-zu-Zwei-Kabel (800G zu 2X400G) an zwei verschiedene Server angeschlossen werden. Dadurch wird sichergestellt, dass das Zweigkabel nicht vollständig mit der Ethernet-Server-Netzwerkkarte verbunden ist, da GPU-Server in der Regel über mehrere Netzwerkkarten verfügen.

F: Wie werden Eins-zu-Zwei-Kabel bei InfiniBand NDR angeschlossen?

A: In InfiniBand NDR-Szenarien gibt es zwei Arten von Eins-zu-Zwei-Kabeln. Der erste Typ verwendet optische Module mit Eins-zu-Zwei-Patchkabeln (400G aufgeteilt auf 2x200G), wie z. B. MMS4X00-NS400 + MFP7E20-NXXX + MMS4X00-NS400 (downgegradet für die Verwendung mit 200G). Der zweite Typ verwendet ein bis zwei DAC-Kupferkabel (800G aufgeteilt auf 2x400G), z. B. MCP7Y00-NXXX oder MCP7Y10-NXXX.

F: Können in einem Superpod-Netzwerk vier NDR200-Karten auf jedem Server mit einem 1x4-Kabel direkt an denselben Switch angeschlossen werden? Oder sollten zwei 1x2-Kabel für den Anschluss an verschiedene Switches verwendet werden?

A: Es wird nicht empfohlen, in einem Superpod-Netzwerk die vier NDR200-Ports jedes Servers über ein 1:4-Kabel an denselben Switch anzuschließen. Diese Verbindungsmethode entspricht nicht den Regeln des Superpod-Netzwerks. Um eine optimale Leistung von NCCL/SHARP zu gewährleisten, sollten die Leaf-Switches mit den NDR200-Ports der verschiedenen Server in einem bestimmten Muster über ein bis vier Kabel verbunden werden.

F: Was das neueste Superpod-Netzwerk betrifft, so müssen laut dem Superpod Network White Paper zwei IB-Switches mit UFM-Software separat im Computernetzwerk konfiguriert werden. Diese Konfiguration führt jedoch dazu, dass ich einen GPU-Knoten weniger in meinem Cluster habe. Wenn ich mich dafür entscheide, keinen separaten UFM-Switch einzurichten und stattdessen die UFM-Software nur auf dem Management-Knoten zu installieren, kann ich dann den Cluster über ein anderes Speichernetzwerk verwalten, ohne das Computernetzwerk zu beeinträchtigen?

A: Es wird empfohlen, die UFM-Technik, einschließlich der Software, zu konfigurieren. Die Bereitstellung von UFM-Software auf dem Management-Knoten innerhalb des Computernetzwerks ist eine alternative Lösung, sollte aber nicht die GPU-Computing-Workload tragen. Das Speichernetzwerk arbeitet unabhängig als eigene Netzwerkschicht und kann nicht für die Verwaltung des Rechenclusters verwendet werden.

Was sind die Unterschiede zwischen UFM Enterprise, SDN, Telemetry und Cyber-Al? Ist es notwendig, UFM zu kaufen?

A: Es ist möglich, die in OFED enthaltenen opensm-Tools und Command-Script-Tools für die einfache Verwaltung und Überwachung zu verwenden, jedoch fehlen dann die grafische UFM-Benutzeroberfläche und viele andere Funktionen.

F: Gibt es einen Unterschied zwischen der Anzahl der erforderlichen Subnetzmanager für den Switch bei OFED und UFM? Welcher ist für den Einsatz beim Kunden besser geeignet?

A: Die Switch-Verwaltung ist für Netzwerke mit bis zu 2K Knoten geeignet. Die openSM-Knotenverwaltungsfunktionen von UFM und OFED sind unbegrenzt, erfordern jedoch eine Abstimmung mit den CPU- und Hardware-Verarbeitungsfunktionen des Management-Knoten.

F: Gibt es einen Unterschied zwischen der Anzahl der erforderlichen Subnetzmanager für den Switch bei OFED und UFM? Welcher ist für den Einsatz beim Kunden besser geeignet?

A: Die Einschränkung liegt in den Größen- und Stromverbrauchsbeschränkungen des 2HE-Panels, das nur 32 Käfige hat. Diese Konfiguration ist für OSFP-Schnittstellen ausgelegt, die zwei 400G-Ports unterstützen. Es ist wichtig, bei NDR-Switches zwischen den Begriffen Käfig und Port zu unterscheiden.

F: Ist es möglich, zwei Module mit unterschiedlichen Schnittstellen über ein Kabel zu verbinden, um Daten zu übertragen? Zum Beispiel, einen OSFP-Port an einem Server mit einem QSFP112-Port an einem Switch über ein Kabel zu verbinden?

A: Die Verbindung der Module untereinander ist unabhängig vom Gehäuse. OSFP und QSFP112 beschreiben in erster Linie die physikalische Größe des Moduls. Solange der Ethernet-Medientyp derselbe ist (d. h. beide Enden der Verbindung sind 400G-DR4 oder 400G-FR4 usw.), können OSFP- und QSFP112-Module miteinander kompatibel sein.

F: Kann UFM zur Überwachung von RoCE-Netzwerken verwendet werden?

A: Nein, UFM unterstützt nur InfiniBand-Netzwerke.

F: Sind die Funktionen von UFM für Managed und Unmanaged Switches gleich?

A: Ja, die Funktionen bleiben dieselben.

F: Wie groß ist die maximale Übertragungsreichweite, die von IB-Kabeln unterstützt wird, ohne dass die Übertragungsbandbreite und die Latenz beeinträchtigt werden?

A: Optische Module + Jumper können etwa 500 m erreichen, während passive DAC-Kabel eine Reichweite von etwa 3 m haben und aktive ACC-Kabel bis zu 5 m erreichen können.

F: Können CX7-Netzwerkkarten an andere 400G-Ethernet-Switches angeschlossen werden, die RDMA im Ethernet-Modus unterstützen?

A: Es ist möglich, eine 400G-Ethernet-Verbindung herzustellen und RDMA (RoCE) kann unter diesen Umständen funktionieren, aber die Leistung ist nicht gänzlich garantiert. Für 400G-Ethernet wird empfohlen, die Spectrum-X-Plattform zu verwenden, die BF3+Spectrum-4 verwendet.

F: Wenn NDR mit HDR und EDR kompatibel ist, sind diese Kabel und Module dann nur in einem Stück erhältlich?

A: Ja, in der Regel werden OSFP auf 2xQSFP56 DAC/AOC-Kabel verwendet, um die Kompatibilität mit HDR oder EDR zu gewährleisten.

F: Sollte das Modul auf der Seite der OSFP-Netzwerkkarte ein flaches Modul sein?

A: Die Netzwerkkarte wird mit einem Kühlkörper geliefert, sodass gleich ein flaches Modul verwendet werden kann. Rippenmodule werden hauptsächlich bei flüssigkeitsgekühlten Switches eingesetzt.

F: Unterstützt die IB-Netzwerkkarte RDMA im Ethernet-Modus?

A: RDMA over Ethernet (RoCE) kann aktiviert werden. Zudem wird empfohlen, die Nvidia Spectrum-X-Lösung zu verwenden.

F: Warum gibt es keine NDR-AOCs?

A: OSFP-Module sind groß und schwer, wodurch Glasfasern anfälliger für Beschädigungen sind. Ein Kabel mit zwei Abzweigungen hätte drei große Transceiver-Enden und ein Kabel mit vier Abzweigungen hätte fünf Transceiver. Dies erhöht das Risiko eines Faserbruchs während der Installation, insbesondere bei AOCs mit einer Länge von 30 Metern.

Q: Are the cables the same for 400G IB and 400G Ethernet, apart from the different optical modules?

A: Die optischen Kabel sind gleich, aber es ist wichtig zu beachten, dass sie vom Typ APC mit einem 8-Grad-Winkel sind.

F: Gibt es spezifische Anforderungen an die Latenzleistung von CX7-Netzwerkkarten? Wie hoch ist die Anforderung an die Netzwerklatenz unter optimalen Debug-Umgebungen, z. B. bei vollem Speicher und eingeschränkten Kernen? Was ist ein akzeptabler Latenzwert, z. B. weniger als wie viele Mikrosekunden?

A: Die Latenzleistung hängt von der Frequenz und der Konfiguration der Testmaschine ab, sowie von den verwendeten Testwerkzeugen, wie z.B. Perftest und MPI.

F: Sollte das Modul für die OSFP-Netzwerkkarte ein flaches OSFP-Modul sein? Warum wird ein OSFP-Riding Heatsink erwähnt?

A: „Riding Heatsink“ bezieht sich auf einen in den Käfig integrierten Kühlkörper.

F: Wie passt UFM in diese Clusterlösung? Was ist hier der tiefere Sinn von UFM?

A: UFM läuft separat auf einem Server und kann wie ein Knoten behandelt werden. Es unterstützt die hohe Verfügbarkeit mit zwei Servern. Es wird jedoch nicht empfohlen, UFM auf einem Knoten auszuführen, der auch Workloads verarbeitet.

F: Für welche Größenordnung von Netzwerkclustern wird UFM empfohlen?

A: Es wird empfohlen, UFM für alle InfiniBand-Netzwerke zu konfigurieren, da UFM nicht nur OpenSubnet Manager (openSM), sondern auch andere leistungsstarke Verwaltungs- und Schnittstellenfunktionen bietet.

F: Unterstützt PCIe 5 nur bis zu 512G? Was ist mit PCIe 4?

A: PCIe Gen5 bietet bis zu 32G x 16 Lanes, was zu einer maximalen Bandbreite von 512G führt. Andererseits bietet PCIe Gen4 bis zu 16G x 16 Lanes, was eine maximale Bandbreite von 256G ergibt.

F: Unterstützen IB-Netzwerkkarten den Simplex-Modus oder Duplex-Modus?

A: Alle IB-Netzwerkkarten verwenden Duplex. Simplex oder Duplex ist lediglich ein Konzept für aktuelle Geräte, da die physikalischen Kanäle zum Senden und Empfangen von Daten bereits getrennt sind.

F: Bietet FS technische Unterstützung und hochwertige Produkte für den Aufbau von IB-Netzwerkclustern an?

A: Natürlich ist FS auf die Bereitstellung von High-Performance-Computing-Lösungen und Rechenzentrumslösungen spezialisiert. Unser Unternehmen verfügt über umfangreiche Erfahrungen und Fachkenntnisse beim Aufbau von IB-Netzwerkclustern und bietet eine Vielzahl von Hardware-Konnektivitätslösungen an, um die Anforderungen verschiedenster Kunden zu erfüllen.

Die InfiniBand-Lösung von FS umfasst AOC/DAC-Kabel und AOC/DAC-Module mit Geschwindigkeiten 800G, 400G, 200G, 100G and 56/40G, NVIDIA InfiniBand adapters and NVIDIA InfiniBand Switches. Für IB-Netzwerkclusterlösungen stellt das professionelle Team von FS die geeigneten Hardware-Konnektivitätslösungen auf der Grundlage Ihrer persönlichen Anforderungen und der Netzwerkskalierung bereit und gewährleistet so Netzwerkstabilität und hohe Leistung.

Für weitere Informationen und Unterstützung besuchen Sie bitte FS.COM.