InfiniBand-Netzwerke: Funktionen, Komponenten und Vorteile

InfiniBand ist ein offener Standard, der die Hochleistungskonnektivität zwischen CPU/GPU-Servern, Speicherservern und anderen Geräten ermöglicht. Dieser Artikel bietet einen Einblick in die grundlegenden Eigenschaften von InfiniBand-Netzwerken, einschließlich der strukturellen Komponenten, Kernfunktionen und Vorteile gegenüber herkömmlichen Ethernet-Lösungen.

Was ist InfiniBand?

InfiniBand ist ein offener Industriestandard, der ein Hochgeschwindigkeits-Netzwerk für die Verbindung von Servern, Speichergeräten und anderen Geräten festlegt. Es nutzt bidirektionale Punkt-zu-Punkt-Verbindungen, um eine nahtlose Kommunikation zwischen Prozessoren auf verschiedenen Servern zu ermöglichen. InfiniBand ist mit verschiedenen Betriebssystemen wie Linux, Windows und ESXi kompatibel.

Strukturelle Komponenten eines InfiniBand-Netzwerks

Ein InfiniBand-Netzwerk besteht aus den folgenden Elementen:

Host Channel Adapter (HCA)

Der HCA, auch als Netzwerkkarte bezeichnet, dient als Endknoten, der mit dem InfiniBand-Netzwerk verbunden ist. Er erleichtert die Funktionen der Transportschicht und unterstützt die Verbs-Schnittstelle, die die Programmierschnittstelle für InfiniBand-Geräte darstellt.

InfiniBand-Ethernet-Gateway/Brücke

Dieses Gerät ermöglicht die Konvertierung von InfiniBand- und Ethernet-Nachrichten, sodass bei Bedarf eine Kommunikation zwischen dem InfiniBand-Netzwerk und dem Ethernet-Netzwerk möglich ist.

InfiniBand-Switch

Ein InfiniBand-Switch leitet Nachrichten zwischen InfiniBand-Netzwerken weiter und ermöglicht eine effiziente Datenübertragung zwischen angeschlossenen Geräten.

Subnet Manager (SM)

Der Subnet Manager ist für die Verwaltung des InfiniBand-Subnetzes zuständig. Er kann über Hosts und Switches laufen oder zusammen mit dem Unified Fabric Manager (UFM) für eine umfassende Verwaltung eingesetzt werden.

InfiniBand-Router

Ein InfiniBand-Router erleichtert die Übertragung von Nachrichten zwischen verschiedenen InfiniBand-Subnetzen.

Kernfunktionen von InfiniBand

• Subnet Manager (SM): Der Subnet Manager sorgt für eine zentralisierte Routing-Verwaltung und ermöglicht Plug-and-Play-Funktionen für alle Knoten im Netzwerk. Für jedes Subnet ist ein Master-SM erforderlich, während die anderen SMs im Standby-Modus arbeiten.

• GPU Direct:GPU Direct ermöglicht direkte Datenübertragungen zwischen GPUs, wodurch die Latenz verringert und die Leistung verbessert wird, insbesondere bei GPU-basierten Berechnungen. NVIDIA-GPUs unterstützen auch das Offloading von Rechenaufgaben.

• Geringe Latenz: InfiniBand erreicht durch Hardware-Offloading und Beschleunigungsmechanismen eine extrem niedrige Latenz. Der Cut-Through-Weiterleitungsmodus in InfiniBand-Switches reduziert die Übertragungslatenz auf bis zu 130 ns. Die RDMA-Technologie reduziert die End-to-End-Transportlatenz noch mehr.

• Skalierbarkeit des Netzwerks: InfiniBand ermöglicht die Verbindung mehrerer Subnetze mithilfe von InfiniBand-Routern, was eine einfache Skalierbarkeit auf über 48.000 Knoten ermöglicht.

• Fehlertolerantes, stabiles Netzwerk: InfiniBand-Netzwerke gewährleisten eine schnelle Wiederherstellung des Datenverkehrs dank des Routing-Algorithmus des Subnet Managers und einer effizienten Neuanordnung des Datenflusses. Dies führt zu einer schnellen Wiederherstellung des Datenverkehrs.

• Selbstheilendes Netzwerk: NVIDIA IB Switches verfügen über einen hardwarebasierten Selbstheilungsmechanismus, der eine schnelle Wiederherstellung in nur einer Millisekunde ermöglicht.

• Adaptives Routing: Adaptives Routing sorgt für eine gleichmäßige Verteilung des Datenverkehrs auf die Switch-Ports. NVIDIA Switches haben diese Funktion in ihrer Hardware integriert und verwalten sie über den Adaptive Routing Manager.

• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): SHARP basiert auf NVIDIA Switch-Hardware und zentralen Verwaltungspaketen und optimiert die kollektive Kommunikation und reduziert die Datenübertragung zwischen Knoten bei MPI-basierten Anwendungen wie KI und Machine Learning.

Vorteile von InfiniBand gegenüber Ethernet

InfiniBand bietet mehrere Vorteile gegenüber herkömmlichen Ethernet-Netzwerklösungen und eignet sich daher hervorragend für Anwendungen, die eine schnelle Kommunikation und umfangreiche Datenübertragungen erfordern. Zu den Vorteilen von InfiniBand gehören:

• Hohe Bandbreite und geringe Latenz: InfiniBand bietet eine höhere Bandbreite und eine geringere Latenz und erfüllt damit die Leistungsanforderungen von umfangreichen Datenübertragungen und Echtzeitkommunikationsanwendungen.

• RDMA-Unterstützung: InfiniBand unterstützt Remote Direct Memory Access (RDMA) und ermöglicht so die direkte Datenübertragung zwischen Netzwerkknoten-Speichern. Dies reduziert den CPU-Overhead und verbessert die Übertragungseffizienz.

• Skalierbarkeit: InfiniBand Fabric ermöglicht eine einfache Skalierbarkeit, indem es eine große Anzahl von Knoten verbindet und Server-Layouts mit hoher Dichte unterstützt. Zusätzliche InfiniBand-Switches und -Kabel können die Netzwerkskalierung und Bandbreitenkapazität erweitern.

• Hohe Zuverlässigkeit: InfiniBand Fabric verfügt über redundante Designs und Mechanismen zur Fehlerisolierung, die die Netzwerkverfügbarkeit und Fehlertoleranz verbessern. Alternative Pfade sorgen für die Aufrechterhaltung der Netzwerkkonnektivität im Falle von Knoten- oder Verbindungsausfällen.

InfiniBand-Lösung von FS

FS bietet die InfiniBand-Netzwerklösung und ermöglicht den Anwendern eine hohe Rechenleistung. Mit maßgeschneiderten Lösungen für verschiedene Anwendungen und Anforderungen optimiert FS die Leistung und ermöglicht hohe Bandbreiten, niedrige Latenzen und nahtlose Datenübertragung.

Durch die Zusammenarbeit mit FS und die Implementierung eines stabilen InfiniBand-Netzwerks können Sie neue Möglichkeiten erschließen, das Unternehmenswachstum beschleunigen und die allgemeine Benutzererfahrung verbessern!