Revolutionierung von Rechenzentrums-Netzwerken: Optische 800G-Module und NDR-Switches

Mit den Fortschritten bei Technologien wie expansiven Modellen, Cloud Computing und Big Data Analytics erleben die Rechenzentren eine Zeit des fulminanten Wachstums. Der wachsende Bedarf an Training und Bereitstellung umfangreicher Modelle stellt neue Herausforderungen an die unterstützenden Rahmenwerke für Datenverarbeitung, Speicherung und Vernetzung. Das Aufkommen anspruchsvoller Deep-Learning-Modelle wie GPT-4, die intensiven Workloads, die auf Cloud-Plattformen verwaltet werden, sowie die Anforderungen umfangreicher Datenanalysen und Hochleistungsrechenaufgaben erfordern stabile Rechenzentrums-Netzwerke, die in der Lage sind, eine gute Leistung zu erbringen.

Der Aufbau von Hochgeschwindigkeits-Netzwerken in Rechenzentren umfasst mehrere Schlüsselkomponenten, darunter Hochgeschwindigkeits-Netzkarten, optische Module, Switches und Hochleistungsnetzverbindungs-Technologien. In diesem komplexen Netzwerk-System hat sich die Netzwerktechnologie „InfiniBand“ (IB) als Marktführer herauskristallisiert und ist zu einem entscheidenden Mittel für Hochgeschwindigkeits-Datenübertragung und Kommunikation mit geringer Latenz geworden.

Die NDR-Geräte (400G) innerhalb der InfiniBand-Netzwerktechnologie sind weit verbreitet und haben sich als überlegene Option für Hochgeschwindigkeits-Rechenzentrumsnetzwerke etabliert, die komplexe Modelle und Hochleistungs-Computing-Anforderungen erfüllen. Bei den Switches sind die Serien QM9700 und QM9790 von NVIDIA die führenden Geräte. Diese Switches basieren auf der NVIDIA Quantum-2-Architektur und bieten außergewöhnliche 64 NDR 400Gb/s InfiniBand-Ports in einem standardmäßigen Gehäuse von 1 HE. Dieser Durchbruch bedeutet, dass ein einzelner Switch eine bidirektionale Gesamtbandbreite von 51,2 Terabit pro Sekunde (Tb/s) sowie eine beispiellose Verarbeitungskapazität von über 66,5 Milliarden Paketen pro Sekunde (BPPS) bieten kann.

Die NVIDIA Quantum-2 InfiniBand Switches gehen noch weiter als lediglich hochleistungsfähige NDR-Datenverarbeitung und bieten einen hohen Durchsatz, On-Chip-Rechenleistung, fortschrittliche intelligente Beschleunigungsfunktionen, Anpassungsfähigkeit und eine robuste Bauweise. Diese Eigenschaften machen sie zur ersten Wahl für Bereiche wie High-Performance-Computing (HPC), künstliche Intelligenz und umfangreiche Cloud-basierte Infrastrukturen. Darüber hinaus trägt die Integration von NDR-Switches dazu bei, die Gesamtkosten und die Komplexität zu minimieren, was den Fortschritt und die Weiterentwicklung von Netzwerktechnologien für Rechenzentren vorantreibt.

Der Unterschied zwischen QM9700 und QM9790

Ähnlich wie bei früheren Generationen von IB-Switches ist der QM9700 ein Managed Switch, während der QM9790 ein Unmanaged Switch ist. Der Unterschied in der Funktionalität besteht darin, dass der Managed Switch ein Network Operating System (NOS) ähnlich wie normale Ethernet-Switches ausführt. Er kann direkt über einen dedizierten Management-Port angesprochen und konfiguriert werden und bietet die Funktionalität eines Subnet Managers (bei Bedarf). Der Unmanaged Switch hingegen verfügt über keine CPU auf der Hardware-Ebene und führt kein NOS6 aus. Die Konfiguration erfolgt über ein Remote-Konfigurations-Tool namens mlxconfig. Die folgenden Bilder zeigen den QM9790(mit einer Management-Schnittstelle ganz rechts) und den QM9790:

Es gibt auch betriebliche Unterschiede zwischen den beiden. Der QM9700 ist ein Managed Switch, der eine direkte Anmeldung für die Konfigurationsverwaltung ermöglicht. Port- und Modulinformationen können mit Befehlen abgefragt werden, wie in den folgenden Beispielen gezeigt:

• Abfrage von Port-Informationen: show interface ib 1/1/1 (mit Port 1/1/1 als Beispiel).

• Abfrage von Portmodul-Informationen: show interface ib 1/1/1 transceiver.

• Abfrage des Portmoduls DDM (Digital Diagnostic Monitoring): show interface ib 1/1/1 transceiver diagnostics.

Bei dem Unmanaged QM9790 erfolgt die Konfigurationsverwaltung durch Einloggen in den verbundenen Server (oder einen anderen Managed Switch). Die folgenden Schritte zeigen den Prozess:

• Rufen Sie den Modus „fae“ auf.

• Geben Sie „ibswitches“ ein, um den Lid (am Beispiel von lid-1) des angeschlossenen Geräts zu erhalten.

• Abfrage von Modul-Informationen: mlxlink -d lid-1 -p 1 -m (Abfrage von Modul-Informationen für Port 1).

• Aktivieren/Deaktivieren des Port-Splittings: mlxconfig -d lid-1 set SPLIT_MODE=1 (0 zum deaktivieren).

• - Aktivieren/Deaktivieren der Splitting-Funktion für einen bestimmten Port: mlxconfig-d lid-1 set SPLIT_PORT[1.32]=1 (0 zum deaktivieren).

Switch-Side-Modul: Optischer OSFP 800G Transceiver

Aufgrund von Größen- und Leistungsbeschränkungen sind die Switches der Serien 9700/9790 auf 32 Cages (OSFP) beschränkt. Jede physische Schnittstelle des OSFP bietet zwei unabhängige 400G-Schnittstellen, die von NVIDIA als Twin Port 400G bezeichnet werden. Als Ergänzung zur Verwendung dieser Switches hat FS das OSFP-800G module eingeführt.

Das OSFP 800G SR8 Modul ist für den Einsatz in 800Gb/s 2xNDR InfiniBand-Systemen mit einem Durchsatz von bis zu 30 m über OM3 oder 50 m über OM4 Multimode-Faser (MMF) bei einer Wellenlänge von 850 nm über duale MTP/MPO-12-Steckverbinder konzipiert. Das Dual-Port-Design ist eine Schlüsselinnovation, die zwei interne Transceiver-Engines beinhaltet und das Potenzial des Switches voll ausschöpft. Dadurch können die 32 physischen Schnittstellen bis zu 64 400G NDR-Schnittstellen bereitstellen. Dieses Design mit hoher Dichte und hoher Bandbreite ermöglicht es Rechenzentren, den wachsenden Netzwerkbedarf und die Anforderungen von Anwendungen wie High-Performance-Computing, künstliche Intelligenz und Cloud-Infrastruktur zu erfüllen.

Das OSFP-800G SR8-Modul von FS bietet eine überragende Leistung und Zuverlässigkeit sowie starke optische Verbindungsoptionen für Rechenzentren. Mit diesem Modul können Rechenzentren die volle Leistungsfähigkeit der Switches der Serie QM9700/9790 nutzen und die Übertragung von Daten mit hoher Bandbreite und geringer Latenz durchführen.