InfiniBand vs. Ethernet: Was ist passender für Ihr Rechenzentrumsnetzwerk?

Als Verbindungstechnologien haben InfiniBand und Ethernet ihre eigenen Eigenschaften und Unterschiede und es ist unmöglich allgemein zu sagen, welche von beiden besser ist. Sie entwickeln sich in verschiedenen Anwendungsbereichen weiter und sind zu zwei unverzichtbaren Verbindungstechnologien in unserer Netzwerkwelt geworden.

InfiniBand- vs. Ethernet-Netzwerk: Was sind das für Netzwerke?

InfiniBand-Netzwerk

InfiniBand und Ethernet sind hinsichtlich des Aufbaus sehr unterschiedlich. Als Technologie für die Verbindung von Netzwerken wird InfiniBand aufgrund seiner hohen Zuverlässigkeit, geringen Latenz und hohen Bandbreite häufig in Supercomputer-Clustern eingesetzt. Darüber hinaus ist es, durch das Voranschreiten der künstlichen Intelligenz, die bevorzugte Netzwerkverbindungstechnologie für GPU-Server.

Um eine Rohdatenrate von 10 Gbit/s über 4X-Kabel zu erreichen, erlaubt der InfiniBand-Standard die Übertragung von SDR-Signalen (Single Data Rate) mit einer Basisrate von 2,5 Gbit/s pro Kanal. Ein einzelner Kanal kann auf 5 Gbit/s bzw. 10 Gbit/s erweitert werden und die potenzielle maximale Datenrate beträgt 40 Gbit/s über 4X-Kabel und 120 Gbit/s über 12X-Kabel, so dass InfiniBand-Netzewerke Signale mit doppelter Datenrate (DDR) und vierfacher Datenrate (QDR) übertragen können.

Ethernet-Netzwerk

Seit seiner Einführung am 30. September 1980 hat sich der Ethernet-Standard zum am weitesten verbreiteten Kommunikationsprotokoll in LANs entwickelt. Im Gegensatz zu InfiniBand wurde Ethernet mit dem folgenden Ziel entwickelt: Wie können Informationen problemlos zwischen mehreren Systemen übertragen werden? Es ist ein typisches Netzwerk, das auf Verteilung und Kompatibilität ausgelegt ist. Das klassische Ethernet verwendet hauptsächlich TCP/IP zum Aufbau des Netzwerks und hat sich bis heute schrittweise zu RoCE entwickelt.

Grundsätzlich werden Ethernet-Netzwerke in erster Linie verwendet, um mehrere Computer oder andere Geräte wie Drucker, Scanner usw. mit einem lokalen Netzwerk zu verbinden. Es kann nicht nur das Ethernet-Netzwerk mit dem kabelgebundenen Netzwerk mithilfe von Glasfaserkabeln verbinden, sondern ermöglicht auch das Ethernet-Netzwerk in ein drahtloses Netzwerk durch drahtlose Netzwerktechnologie umzuwandeln. Fast-Ethernet, Gigabit-Ethernet, 10-Gigabit-Ethernet und Switched-Ethernet sind die wichtigsten Arten von Ethernet.

 

     Mehr Informationen: RoCE vs. Infiniband vs. TCP/IP

 

InfiniBand vs. Ethernet: Was sind die Unterschiede?

Die Beseitigung des Engpasses bei der Cluster-Datenübertragung in Hochleistungsrechnungs-Szenarien ist das eigentliche Entwicklungsziel von InfiniBand, das sich mittlerweile zu einem zeitgemäßen Verbindungsstandard entwickelt hat. Daher gibt es zwischen InfiniBand und Ethernet viele Unterschiede, vor allem in Bezug auf Bandbreite, Latenz, Netzwerkzuverlässigkeit und Netzwerktechnologie.

Bandbreite

Seit der Geburt von InfiniBand hat sich das InfiniBand-Netzwerk lange Zeit schneller entwickelt als das Ethernet-Netzwerk. Der Hauptgrund dafür ist, dass InfiniBand für die Verbindung zwischen Servern in der Hochleistungsrechnung eingesetzt wird und die CPU-Auslastung verringert. Ethernet hingegen ist eher auf die Verbindung von Endgeräten ausgerichtet und die Anforderungen bezüglich der Bandbreite ist nicht allzu hoch.

Wenn bei Hochgeschwindigkeits-Netzwerkverkehr über 10G alle Pakete entpackt werden, verbraucht dies eine Menge Ressourcen. Die erste Generation von SDR InfiniBand arbeitet mit einer Rate von 10 Gbit/s und ermöglicht eine Hochgeschwindigkeits-Netzwerkübertragung, um die CPU zu entlasten und die Netzwerknutzung zu erhöhen, zusätzlich zur Erhöhung der Datenübertragungsbandbreite und der Verringerung der CPU-Auslastung.

Netzwerklatenz

InfiniBand und Ethernet unterscheiden sich auch in Hinsicht auf die Netzwerklatenz stark. Ethernet-Switches verwenden in der Regel Store-and-Forward- und MAC-Table-Lookup-Adressierung als Layer-2-Technologien im Netzwerktransport-Modell. Der Verarbeitungsablauf von Ethernet-Switches ist länger als der von InfiniBand-Switches, da hier komplexe Dienste wie IP, MPLS und QinQ berücksichtigt werden müssen.

Die Layer-2-Verarbeitung hingegen ist bei InfiniBand-Switches sehr unkompliziert. Das 16-Bit-LID ist das einzige, das für die Suche nach den Weiterleitungspfadinformationen verwendet wird. Zugleich wird die Cut-Through-Technologie genutzt, um die Weiterleitungsverzögerung auf weniger als 100 ns zu reduzieren, was deutlich geringer ist als bei Ethernet-Switches.

 

     Mehr Informationen: InfiniBand-Switches

 

Zuverlässigkeit des Netzwerks

Da Paketverlust und Retransmissions einen erheblichen Einfluss auf die Gesamtleistung von Hochleistungsrechnern haben, ist ein äußerst zuverlässiges Netzwerkprotokoll erforderlich, um die verlustfreien Netzwerkeigenschaften auf der Funktionsebene zu gewährleisten und eine hohe Zuverlässigkeit zu garantieren. Mit den eigens definierten Formaten von Layer 1 bis Layer 4 ist InfiniBand ein vollständiges Netzwerkprotokoll. Die Ende-zu-Ende gesicherte Datenflusssteuerung ist die Grundlage für das Senden und Empfangen von Paketen im InfiniBand-Netzwerk, was in der Regel für ein verlustfreies Netzwerk sorgt.

Im Vergleich zu InfiniBand verfügt das Ethernet-Netzwerk nicht über eine planungsbasierte Datenflusssteuerung. Daher kann nicht garantiert werden, ob die Gegenseite beim Senden von Paketen überlastet ist. Um den plötzlichen Anstieg des momentanen Datenverkehrs im Netz auffangen zu können, muss im Switch ein Cache-Speicherplatz von mehreren Dutzend MB für die vorübergehende Speicherung dieser Nachrichten eingerichtet werden, der allerdings Ressourcen des Chips benötigt. Dies bedeutet, dass die Chipfläche eines Ethernet-Switches mit derselben Spezifikation wesentlich größer ist als die eines InfiniBand-Chips, was nicht nur mehr kostet, sondern auch mehr Strom verbraucht.

Vernetzungsmethoden

Was den Netzwerkmodus betrifft, so ist das InfiniBand-Netzwerk einfacher zu verwalten als das Ethernet-Netzwerk. SDN ist in InfiniBand von vornherein integriert. In jedem InfiniBand-Layer-2-Netzwerk ist ein Subnetzmanager vorhanden, der die ID (Local ID) der Netzwerkknoten konfiguriert, die Weiterleitungspfadinformationen über die Kontrollebene einheitlich berechnet und an den InfiniBand-Exchange übermittelt. Um die Netzkonfiguration abzuschließen, muss ein solches Layer-2-Netzwerk ohne jegliche Konfiguration eingerichtet werden.

Bei Verwendung des Ethernet-Netzwerkmodus zur automatischen Generierung von MAC-Einträgen muss IP mit dem ARP-Protokoll zusammenarbeiten. Außerdem muss jeder Server im Netz regelmäßig Pakete senden, um zu gewährleisten, dass die Einträge in Echtzeit aktualisiert werden. Um das virtuelle Netz zu unterteilen und seine Größe zu begrenzen, ist daher der Vlan-Mechanismus nötig. Da das Ethernet-Netzwerk selbst jedoch kein Verfahren zum Generieren von Einträgen besitzt, führt dies zu einem Schleifennetzwerk. Um Schleifen im Weiterleitungspfad zu verhindern, müssen Protokolle wie STP implementiert werden, was die Komplexität der Netzwerkkonfiguration erhöht.

Wie Sie die passenden InfiniBand HDR Switches finden

Aus dem obigen Vergleich zwischen InfiniBand und Ethernet wird ersichtlich, dass die Vorteile von InfiniBand-Netzwerken sehr deutlich sind. Wenn Sie Ihr Hochleistungs-Rechenzentrum mit InfiniBand-Switches einrichten möchten, finden Sie hier weitere Informationen. Das InfiniBand-Netzwerk hat sich bereits schnell weiterentwickelt: von SDR 10Gbps, DDR 20Gbps, QDR 40Gps, FDR 56Gbps, EDR 100Gbps bis zum heutigen InfiniBand mit 200 Gbps – und alle profitieren von der RDMA-Technologie.

FS hat kürzlich zwei 200G-InfiniBand-Switches auf den Markt gebracht, die eine Latenzzeit von weniger als 130 ns, einen aggregierten Switch-Durchsatz von 16 TB/s, eine hohe Bandbreite von 40 HDR 200Gb/s Ports und 80 HDR100 100Gb/s Ports bei einer Leistungsaufnahme von 274 W aufweisen. Sie verwenden NVIDIA Quantum™ IC-Chips und erstklassige Prozessmaterialien, um eine höhere Leistung und zuverlässigere Netzwerke zu ermöglichen.

Fazit

Es gibt geeignete Anwendungsszenarien für InfiniBand und Ethernet. Da das InfiniBand-Netz eine deutlich höhere Datenübertragungsrate bietet, verbraucht die Netzwerkverarbeitung weniger CPU-Ressourcen, was die Netzwerknutzung verbessert. Dies ist einer der Hauptgründe, warum das InfiniBand-Netzwerk eine der wichtigsten Netzwerklösungen für die Hochleistungsrechnungs-Branche werden wird. In Zukunft werden auch 400 Gbps NDR und 800 Gbps XDR Switches auf den Markt kommen. Wenn keine hohen Anforderungen an die Kommunikationsverzögerung zwischen den Rechenzentrumsknoten bestehen und flexible Zugänge und flexible Erweiterungen wichtiger sind, kann es auch sinnvoll sein sich für ein Ethernet-Netzwerk zu entscheiden.