InfiniBand: Leistungsstarke HPC-Netzwerke

InfiniBand, eine leistungsstarke In-Network-Computing-Plattform, ist eine entscheidende Kraft bei der Transformation von High-Performance-Computing (HPC), künstlicher Intelligenz (KI) und Hyper-Scale-Cloud-Infrastrukturen und bietet eine bisher unübertroffene Leistung. InfiniBand wurde in erster Linie für serverseitige Verbindungen entwickelt und spielt eine wichtige Rolle bei der Kommunikation zwischen Servern sowie bei der Verbindung von Speichergeräten und Netzwerken. Diese Technologie, die von der InfiniBand Industry Association unterstützt und gefördert wird, hat sich als vorherrschende Verbindungslösung in der prestigeträchtigen TOP500-Liste durchgesetzt. Bemerkenswert ist, dass 44,4 % der Systeme InfiniBand für die Verbindung nutzen und damit die Ethernet-Technologie übertreffen, die 40,4 % der Systeme auf der Liste ausmacht. Lassen Sie uns nun auf die Unterschiede zwischen InfiniBand und Ethernet eingehen.

Der Unterschied zwischen InfiniBand und Ethernet

Was ist InfiniBand?

InfiniBand, das unter der Leitung der InfiniBand Trade Association (IBTA) entwickelt wurde, dient als standardisierte Kommunikationsspezifikation. Diese Spezifikation beschreibt eine Switched-Fabric-Architektur, die speziell für die Verbindung von Servern, Kommunikationsinfrastrukturgeräten, Speicherlösungen und eingebetteten Systemen in den umfassenden Umgebungen von Rechenzentren entwickelt wurde. Dieser Schwerpunkt auf Standardisierung gewährleistet eine nahtlose Integration und effiziente Kommunikation zwischen verschiedenen Komponenten in der HPC-Netzwerkumgebung.

InfiniBand, das für seine hohe Bandbreite und geringe Latenz bekannt ist, bietet beeindruckende Geschwindigkeiten wie FDR mit 56 Gbps, EDR mit 100 Gbps, HDR mit 200 Gbps und NDR mit 400 Gbps/800 Gbps pro Sekunde Durchsatz bei einer Verbindung mit vierfacher Linkbreite. Noch höhere Geschwindigkeiten sind zukünftig absehbar.

InfiniBand zeichnet sich durch seine Skalierbarkeit aus und kann Zehntausende von Knoten innerhalb eines einzigen Subnetzes aufnehmen, was es zur bevorzugten Wahl für HPC-Umgebungen (High Performance Computing) macht. Mit Quality of Service (QoS) und Failover-Funktionen ist InfiniBand neben Ethernet-, Fibre-Channel- (FC) und TCP/IP-Netzwerken eine wichtige Netzwerkstruktur für das NVMe-oF-Speicherprotokoll (Non Volatile Memory Express over Fabrics). Entscheiden Sie sich für InfiniBand in Ihrem Rechenzentrum, um unübertroffene Leistung und Skalierbarkeit zu erzielen.

Was ist Ethernet?

Das von Xerox, Intel und DEC entwickelte Ethernet ist ein LAN-Spezifikationsstandard und hat sich als das am weitesten verbreitete Kommunikationsprotokoll für Local Area Networks (LANs) mit Datenübertragung über Kabel etabliert. Xerox leistete in den 1970er Jahren Pionierarbeit bei der Entwicklung von Ethernet als kabelgebundene Kommunikationstechnologie zur Verbindung von Geräten in LANs oder Wide Area Networks (WANs). Seine Vielseitigkeit erstreckt sich auf die Verbindung verschiedener Geräte, von Druckern bis hin zu Laptops, über Gebäude, Wohnorte und kleine Gemeinden hinweg. Die benutzerfreundliche Schnittstelle vereinfacht die Einrichtung von LANs, die nur einen Router und Ethernet-Verbindungen benötigen und Geräte wie Switches, Router und PCs einbeziehen.

Trotz der weiten Verbreitung drahtloser Netzwerke an vielen Orten ist Ethernet aufgrund seiner Zuverlässigkeit und Störungsresistenz nach wie vor die erste Wahl für kabelgebundene Netzwerke. Im Laufe der Jahre wurde das Ethernet mehrfach überarbeitet und seine Funktionen ständig angepasst und erweitert. Heute ist es eine der am meisten genutzten Netzwerktechnologien weltweit.

Gegenwärtig hat die IEEE 802.3 Standard Organization die IEEE Ethernet-Schnittstellenstandards herausgegeben, darunter 100GE, 200GE, 400GE und 800GE, die die kontinuierlichen Bemühungen zur Verbesserung und Weiterentwicklung der Ethernet-Technologie widerspiegeln.

 

InfiniBand im Vergleich zu Ethernet

InfiniBand wurde mit der Zielsetzung entwickelt, den Engpass bei der Datenübertragung in Clustern in High-Performance-Computing-Szenarios zu beseitigen. Im Laufe der Zeit hat sich InfiniBand zu einem weit verbreiteten Verbindungsstandard entwickelt, der den modernen Anforderungen gerecht wird. Die Hauptunterschiede zwischen InfiniBand und Ethernet liegen in der Bandbreite, der Latenz, der Netzwerkzuverlässigkeit und den Netzwerkmethoden.

Bandbreite

In Bezug auf die Bandbreite hat InfiniBand im Vergleich zu Ethernet scznellere Fortschritte gemacht, was in erster Linie auf seine Verwendung im High-Performance-Computing und die Fähigkeit, den CPU-Load zu verringern, zurückzuführen ist. Im Gegensatz dazu ist Ethernet in erster Linie auf die Verbindung von Endgeräten zugeschnitten und stellt nicht die gleichen hohen Anforderungen an Bandbreite wie InfiniBand.

Latenz

Im Bereich der Netzwerklatenz unterscheiden sich InfiniBand und Ethernet in ihren Verarbeitungsabläufen erheblich voneinander. InfiniBand nutzt die Cut-Through-Technologie in Switches, wodurch sich die Weiterleitungsverzögerung auf weniger als 100 ns verringert. Im Gegensatz dazu sind die Verarbeitungsprozesse bei Ethernet-Switches länger, was auf die komplizierten Prozesse zurückzuführen ist, die Dienste wie IP, MPLS und QinQ mit sich bringen.

Ausfallsicherheit

Im Bereich des High-Performance-Computings, wo die Ausfallsicherheit von größter Bedeutung ist, ist InfiniBand mit seinen klar definierten Formaten von Schicht 1 bis Schicht 4 führend und garantiert ein verlustfreies Netzwerk durch eine End-to-End-Flusssteuerung. Im Gegensatz dazu fehlt bei Ethernet eine planungsbasierte Datenflusssteuerung, sodass ein größerer Chipbereich für die vorübergehende Speicherung von Nachrichten erforderlich ist. Dieser Ansatz führt zu höheren Kosten und einem höheren Stromverbrauch bei Ethernet.

Vernetzungsmethoden

In Bezug auf die Netzwerkverwaltung erweist sich InfiniBand dank der Verwendung des SDN-Konzepts (Software-Defined Networking) einfacher als Ethernet. Bei InfiniBand gibt es in jedem Layer-2-Netzwerk einen Subnetzmanager, der die Konfiguration der Knoten und die Berechnung der Weiterleitungspfadinformationen erleichtert. Im Gegensatz dazu sind bei Ethernet MAC-Einträge, IP- und ARP-Protokolle erforderlich, was die Komplexität erhöht. Ethernet ist außerdem auf die regelmäßige Übertragung von Paketen zur Aktualisierung von Einträgen angewiesen und verwendet den Vlan-Mechanismus, um virtuelle Netzwerke zu segmentieren und ihre Größe zu begrenzen. Diese Komplexität bringt Herausforderungen mit sich, darunter die Möglichkeit von Loop-Netzwerken, die zusätzliche Protokolle wie STP erfordern.

 

Produkte von InfiniBand

InfiniBand-Switches und Infiniband-NICs

Zusammenfassend lässt sich sagen, dass der Vergleich zwischen InfiniBand und Ethernet die bemerkenswerten Vorteile von InfiniBand-Netzwerken verdeutlicht. Für diejenigen, die die Implementierung von InfiniBand-Switches in ihren Hochleistungsrechenzentren in Erwägung ziehen, sind weitere Details verfügbar. Das InfiniBand-Netzwerk hat sich schnell weiterentwickelt, von SDR 10 Gbps, DDR 20 Gbps, QDR 40 Gbps, FDR56 Gbps, EDR 100 Gbps bis hin zu HDR 200 Gbps und NDR 400 Gbps/800 Gbps InfiniBand. Diese Fortschritte werden durch die Integration von RDMA (Remote Direct Memory Access) ermöglicht.

FS bietet NVIDIA Quantum™-2 NDR InfiniBand 400G und NVIDIA Quantum™ HDR InfiniBand 200G Switches für Rechenzentren an, die sowohl in Managed als auch in Unmanaged Konfigurationen erhältlich sind. Um den unterschiedlichen Kundenanforderungen gerecht zu werden, sind die 400G-Switches mit Service-Support-Optionen von einem Jahr, drei Jahren und fünf Jahren erhältlich.

InfiniBand Modules

InfiniBand DAC

InfiniBand AOC

 

InfiniBand-Standards im Überblick

InfiniBand NDR (Next-Generation Data Rate):

Die InfiniBand NDR-Kategorie umfasst InfiniBand 400Gbase/800Gbase-Transceiver und DAC, die für die Kompatibilität mit Mellanox NDR 400Gb-Switches wie der MQM9700/MQM9790-Serie ausgelegt sind. Diese Komponenten ermöglichen Hochleistungsverbindungen für GPU-beschleunigtes Computing und können bis zu 50 % der Kosten einsparen. Sie eignen sich hervorragend für High-Performance Computing (HPC), Cloud Computing, Modell-Rendering und Speicherung in InfiniBand 400Gb/800Gb-Netzwerken.

InfiniBand HDR (High Data Rate):

Die InfiniBand HDR- Konnektivitätsprodukte von FS bietet eine Reihe von Lösungen, darunter aktive/passive optische 200Gb/s- und 400Gb/s-QSFP56 IB HDR-MMF-Kabel (AOC), aktive/passive Direct-Attach-Kupferkabel (DAC), optische Transceiver-Router und 200G-Switches. Diese Module und Kabel können Switches wie den MQM8700/MQM8790 mit NVIDIA GPU- (A100/H100/A30) und CPU-Servern sowie mit Speichernetzwerkadaptern wie dem ConnectX-5/6/7 VPI verbinden. Sie bieten Einsparpotenziale von bis zu 50 % und sind vorteilhaft für GPU-beschleunigte HPC-Cluster, einschließlich Modell-Rendering, künstliche Intelligenz (KI), Deep Learning (DL) und NVIDIA-Anwendungsnetzwerke in InfiniBand HDR.

InfiniBand EDR (Enhanced Data Rate):

Die InfiniBand EDR-Produktlinie umfasst InfiniBand 100Gbase QSFP28EDR AOC, EDR DAC, AOC und Transceiver. Sie bieten kostengünstige Lösungen für Hochleistungsverbindungen für GPU-beschleunigtes Computing.

InfiniBand FDR (Fourteen Data Rate):

Die InfiniBand FDR-Produktlinie umfasst InfiniBand 40Gbase QSFP+ FDR10 AOC, DAC und Transceiver, sowie 56Gbase QSFP+ FDR DAC und AOC. Diese Produkte lassen sich nahtlos in die EDR-Switches von Mellanox integrieren.

 

Vorteile von InfiniBand in Hochleistungsrechnernetzen

Die kontinuierliche Weiterentwicklung der Datenkommunikation, der Internettechnologie und der visuellen Präsentation beruht auf Fortschritten bei der Rechenleistung, der Speicherkapazität und der Netzwerkeffizienz. In dieser Landschaft spielt das InfiniBand-Netzwerk eine zentrale Rolle, denn es bietet Netzwerkdienste mit hoher Bandbreite, geringe Latenzzeiten und einen geringeren Verbrauch von Rechenressourcen, indem es die Protokollverarbeitung und die Datenbewegung von der CPU auf die Verbindung verlagert. Diese einzigartigen Vorteile machen InfiniBand zu einer idealen Lösung für HPC-Rechenzentren und sorgen für erhebliche Leistungsverbesserungen bei verschiedenen Anwendungen wie Web 2.0, Cloud Computing, Big Data, Finanzdienstleistungen, virtualisierten Rechenzentren und Speicheranwendungen.

Bei der Geschwindigkeit hat InfiniBand nicht nur mit Ethernet 100G Schritt gehalten, sondern ist sogar noch weiter vorangeschritten und bietet nun Optionen von 100G/200G bis hin zu 400G/800G InfiniBand-Switches, die sich nahtlos an die Hochleistungsanforderungen der HPC-Architektur anpassen. Die Kombination aus hoher Bandbreite, Geschwindigkeit und geringer Latenz bei InfiniBand-Switches trägt zu einer höheren Servereffizienz und Anwendungsproduktivität bei.

Ein weiterer wichtiger Vorteil von InfiniBand ist die Skalierbarkeit: Ein einziges Subnetz unterstützt bis zu 48.000 Knoten auf der 2. Netzwerkschicht. Im Gegensatz zu Ethernet entfällt bei InfiniBand die Abhängigkeit von Broadcast-Mechanismen wie ARP, wodurch Broadcast-Storms eingedämmt und zusätzliche Bandbreitenverschwendung vermieden wird. Außerdem können mehrere Subnetze mit Switches verbunden werden, was die Flexibilität erhöht.

FS hat die große Wichtigkeit von High-Performance-Computing erkannt und bietet InfiniBand-Produkte an, die mit Quantum InfiniBand-Switch-Geräten ausgestattet sind. Diese Produkte unterstützen Non-Blocking-Bandbreiten von bis zu 16 TB/s und weisen Port-zu-Port-Verzögerungen von weniger als 130 ns auf, was eine hohe Zuverlässigkeit und Multi-Service-Unterstützung für HPC-Rechenzentren gewährleistet. Während Ethernet-Netzwerke weiterhin eine praktikable Option für die Datenübertragung durch die Verteilung von Workloads auf mehrere Geräte darstellen, bietet FS eine Reihe von Ethernet-Switches mit mehreren Geschwindigkeiten an, die den Aufbau vielseitiger und effizienter Netzwerke unterstützen.

 

Die Wahl der richtigen Netzwerktechnik

InfiniBand und Ethernet haben ihre jeweiligen Vorteile in unterschiedlichen Szenarien. Das InfiniBand-Netzwerk zeichnet sich durch deutlich höhere Datenübertragungsraten aus, wodurch die Netzwerkauslastung optimiert und die CPU-Ressourcen für die Netzwerkdatenverarbeitung entlastet werden. Dieser entscheidende Vorteil verschafft dem InfiniBand-Netz den Vorrang in der High-Performance-Computing-Branche.

In Fällen, in denen die Kommunikationsverzögerung zwischen den Knoten des Rechenzentrums keine entscheidende Rolle spielt und der Schwerpunkt auf flexiblem Zugang und Erweiterung liegt, können Ethernet-Netzwerke jedoch als praktikable Lösung dienen.

Die unvergleichliche Leistung des InfiniBand-Netzwerks in Verbindung mit seiner innovativen technischen Architektur und dem optimierten Design des Hochleistungsnetzwerks ermöglicht es den Benutzern in HPC-Rechenzentren, die Unternehmensleistung zu optimieren. Durch die Minimierung von Verzögerungen, die mit mehrstufigen Architekturschichten verbunden sind, und die Erleichterung eines nahtlosen Upgrades der Zugangsbandbreite für wichtige Rechenknoten ist die InfiniBand-Technologie von entscheidender Bedeutung für die Verbesserung der allgemeinen betrieblichen Effizienz. Es wird erwartet, dass InfiniBand-Netzwerke mit zunehmender Beliebtheit in immer mehr Szenarien zum Einsatz kommen werden.