InfiniBand und Ethernet – Unterschiede erklärt

Als Verbindungstechnologien haben InfiniBand und Ethernet jeweils ihre eigenen Merkmale und Unterschiede. Im Allgemeinen ist es unmöglich zu verallgemeinern und zu genau zu sagen, welche von beiden besser ist. Sie entwickeln sich in verschiedenen Anwendungsbereichen weiter und sind zu zwei unverzichtbaren Verbindungstechnologien in unserer Netzwerkwelt geworden.

InfiniBand und Ethernet – Unterschiede erklärt

Das InfiniBand-Netzwerk

Der Unterschied zwischen InfiniBand und Ethernet ist vor allem in Bezug auf den Aufbau sehr unterschiedlich. Als Verbindungstechnologie für Netzwerke wird InfiniBand aufgrund seiner hohen Zuverlässigkeit, geringen Latenz und hohen Bandbreite häufig in Supercomputer-Clustern eingesetzt. Darüber hinaus ist es die bevorzugte Netzwerkverbindungstechnologie für GPU-Server, da die künstliche Intelligenz stetig voranschreitet.

Um eine Rohdatenrate von 10 Gbit/s über 4X-Kabel zu erreichen, ermöglicht der InfiniBand-Standard die Übertragung mittels Single Data Rate (SDR) mit einer Basisrate von 2,5 Gbit/s pro Lane. Ein einzelner Kanal kann auf 5 Gbits/s bzw. 10 Gbits/s erweitert werden, und die potenzielle maximale Datenrate beträgt 40 Gbits/s über 4X-Kabel und 120 Gbits/s über 12X-Kabel, sodass InfiniBand-Netzwerke Signale mit doppelter Datenrate (DDR) und vierfacher Datenrate (QDR) übertragen können.

Ethernet-Netzwerk

Seit seiner Einführung am 30. September 1980 hat sich der Ethernet-Standard zum am häufigsten verwendeten Kommunikationsprotokoll im LAN entwickelt. Im Gegensatz zu InfiniBand wurde Ethernet mit Blick auf die folgenden Hauptziele entwickelt: Wie können Informationen problemlos zwischen mehreren Systemen fließen? Es ist ein typisches Netzwerk, das auf Verteilung und Kompatibilität ausgelegt ist. Klassisches Ethernet verwendet hauptsächlich TCP/IP zum Aufbau des Netzwerks und hat sich bis heute schrittweise zu RoCE entwickelt.

Im Allgemeinen werden Ethernet-Netzwerke hauptsächlich verwendet, um mehrere Computer oder andere Geräte wie Drucker, Scanner usw. mit einem lokalen Netzwerk zu verbinden. Es kann nicht nur das Ethernet-Netzwerk mit dem kabelgebundenen Netzwerk durch das Glasfaserkabel verbinden, sondern auch das Ethernet-Netzwerk im drahtlosen Netzwerk durch drahtlose Netzwerktechnologie umsetzen. Fast Ethernet, Gigabit Ethernet, 10 Gigabit Ethernet und Switched Ethernet sind die wichtigsten Arten von Ethernet.

 

 ''Überprüfen Sie auch- Ein kurzer Blick auf die Unterschiede: RoCE vs. Infiniband RDMA vs. TCP/IP

InfiniBand vs. Ethernet: Was sind die Unterschiede zwischen ihnen?

Der Engpass bei der Cluster-Datenübertragung in Hochleistungs-Computing-Szenarien ist das ursprüngliche Designziel von InfiniBand und hat sich zu einem den Anforderungen der Zeit entsprechenden Verbindungsstandard entwickelt. Daher weisen InfiniBand und Ethernet viele Unterschiede auf, vor allem in Bezug auf Bandbreite, Latenz, Netzwerkzuverlässigkeit, Netzwerktechnologie und Anwendungsszenarien.

Bandbreite

Seit der Geburt von InfiniBand verlief die Entwicklung des InfiniBand-Netzwerks lange Zeit schneller als die von Ethernet. Der Hauptgrund dafür ist, dass InfiniBand bei der Verbindung zwischen Servern im Hochleistungsrechnen eingesetzt wird und die CPU-Last reduziert. Allerdings ist Ethernet eher auf die Verbindung von Endgeräten ausgerichtet und es besteht kein allzu hoher Bedarf an Bandbreite.

Bei Hochgeschwindigkeits-Netzwerkverkehr über 10 G werden viele Ressourcen verbraucht, wenn alle Pakete entpackt sind. Die erste Generation von SDR InfiniBand arbeitet mit einer Geschwindigkeit von 10 Gbit/s und ermöglicht eine Hochgeschwindigkeits-Netzwerkübertragung, um die CPU zu entlasten und die Netzwerkauslastung zu erhöhen. Darüber hinaus wird die Datenübertragungsbandbreite erhöht und die CPU-Last verringert.

Netzwerk-Latenz

Auch in Bezug auf die Netzwerklatenz verhalten sich InfiniBand und Ethernet sehr unterschiedlich. Ethernet-Switches nutzen typischerweise Store-and-Forward- und MAC-Table-Lookup-Adressierung als Layer-2-Technologien im Netzwerktransportmodell. Der Verarbeitungsfluss von Ethernet-Switches ist länger als der von InfiniBand-Switches, da komplexe Dienste wie IP, MPLS und QinQ berücksichtigt werden müssen.

Die Layer-2-Verarbeitung ist dagegen sehr einfach fürInfiniBand Switches. Die 16-Bit-LID ist die einzige, die für die Suche nach Weiterleitungspfadinformationen verwendet werden kann. Parallel dazu wird die Cut-Through-Technologie genutzt, um die Weiterleitungsverzögerung deutlich auf weniger als 100 ns zu reduzieren, was deutlich schneller ist als beim Ethernet-Switch.

Netzwerkzuverlässigkeit

Da Paketverlust und Neuübertragung einen erheblichen Einfluss auf die Gesamtleistung des Hochleistungsrechnens haben, ist ein hochzuverlässiges Netzwerkprotokoll erforderlich, um die verlustfreien Eigenschaften des Netzwerks auf Mechanismusebene sicherzustellen und seine hohen Zuverlässigkeitsmerkmale zu realisieren. Mit seinen eigenen definierten Layer-1- bis Layer-4-Formaten ist InfiniBand ein vollständiges Netzwerkprotokoll. Die End-to-End-Flusskontrolle ist die Grundlage für das Senden und Empfangen von Paketen im InfiniBand-Netzwerk, was zu einem verlustfreien Netzwerk führen kann.

Im Vergleich zu InfiniBand verfügt das Ethernet-Netzwerk nicht über einen planungsbasierten Flusskontrollmechanismus. Daher kann nicht garantiert werden, dass es beim Senden von Paketen auf der Peer-Seite zu einer Überlastung kommt. Um den plötzlichen Anstieg des momentanen Datenverkehrs im Netzwerk auffangen zu können, muss im Switch ein Cache-Speicherplatz von mehreren zehn MB für die vorübergehende Speicherung dieser Nachrichten geöffnet werden, die die Chip-Ressourcen belegen. Das bedeutet, dass die Chipfläche eines Ethernet-Switches mit der gleichen Spezifikation deutlich größer ist als die eines InfiniBand-Chips, der nicht nur mehr kostet, sondern auch mehr Strom verbraucht.

Netzwerkmethoden

Was den Netzwerkmodus betrifft, ist das InfiniBand-Netzwerk einfacher zu verwalten als das Ethernet-Netzwerk. Die Idee von SDN ist von Natur aus in InfiniBand integriert. In jedem InfiniBand-Layer-2-Netzwerk ist ein Subnetzmanager vorhanden, der die ID (LocalID) der Netzwerkknoten konfiguriert, die Weiterleitungspfadinformationen über die Steuerungsebene einheitlich berechnet und sie an die InfiniBand-Vermittlungsstelle ausgibt. Um die Netzwerkkonfiguration abzuschließen, muss ein solches Layer-2-Netzwerk ohne jegliche Konfiguration konfiguriert werden.

Verwenden Sie den Ethernet-Netzwerkmodus, um automatisch MAC-Einträge zu generieren, und die IP muss mit dem ARP-Protokoll zusammenarbeiten. Darüber hinaus muss jeder Server im Netzwerk regelmäßig Pakete senden, um sicherzustellen, dass die Einträge in Echtzeit aktualisiert werden. Um das virtuelle Netzwerk aufzuteilen und seinen Umfang zu begrenzen, muss es daher den Vlan-Mechanismus implementieren. Da dem Ethernet-Netzwerk selbst jedoch ein Einstiegslernmechanismus fehlt, entsteht ein Schleifennetzwerk. Um Schleifen im Netzwerkweiterleitungspfad zu verhindern, müssen Protokolle wie STP implementiert werden, was die Komplexität der Netzwerkkonfiguration erhöht.

Anwendungsszenarien

InfiniBand wird in HPC-Umgebungen aufgrund seiner hohen Bandbreite, geringen Latenz und optimierten Unterstützung für paralleles Computing häufig eingesetzt. Es wurde für die anspruchsvollen Kommunikationsanforderungen von HPC-Clustern entwickelt, bei denen die Verarbeitung großer Datenmengen und die häufige Kommunikation zwischen den Knoten entscheidend sind. Ethernet hingegen wird häufig in Unternehmensnetzwerken, für den Internetzugang und für Heimnetzwerke verwendet. Die Hauptvorteile von Ethernet sind niedrige Kosten, Standardisierung und breite Unterstützung.

In jüngster Zeit ist die Nachfrage nach großen Rechenkapazitäten sprunghaft angestiegen, was den Bedarf an Hochgeschwindigkeitskommunikation innerhalb von Maschinen und an Kommunikation mit geringer Latenz und hoher Bandbreite zwischen Maschinen in supergroßen Clustern erhöht hat. Laut Benutzerstatistiken der 500 größten Supercomputing-Zentren spielen IB-Netzwerke in den Top-10-Zentren und Top-100-Zentren eine entscheidende Rolle. OpenAI nutzt beispielsweise das in Microsoft Azure aufgebaute IB-Netzwerk, um CHATGPT zu trainieren, was zu einem erheblichen Anstieg der Nachfrage nach großen Supercomputing-Zentren führt.

 

Das richtige InfiniBand-Produkt für Sie

Aus dem obigen Vergleich zwischen InfiniBand und Ethernet geht hervor, dass die Vorteile von InfiniBand-Netzwerken sehr deutlich sind. Von SDR 10 Gbps, DDR 20 Gbps, QDR 40 Gps, FDR 56 Gbps, EDR 100 Gbps bis zum heutigen InfiniBand mit 800 Gbps – alle profitieren von der RDMA-Technologie.

FS hat zahlreiche InfiniBand-Produkte auf den Markt gebracht, darunter InfiniBand-Transceiver und DAC/AOC-Kabel, InfiniBand-Adapter, und InfiniBand Switches. Werfen wir nun einen Blick auf die einzelnen Produkte.

InfiniBand-Transceiver und InfiniBand-DAC/AOC-Kabel

FS bietet ein umfangreiches Sortiment an 40G–200G InfiniBand-Transceivern und -Kabeln, die die hocheffiziente Verbindung von Computer- und Speicherinfrastrukturen unterstützen.

Product Typ	Produkt	Anwendung	Stecker
InfiniBand Transceiver	40G Transceiver	InfiniBand FDR10	MTP/MPO-12
	100G Transceiver	InfiniBand EDR	Duplex LC
	200G Transceiver	InfiniBand HDR	MTP/MPO-12
	400G Transceiver	InfiniBand NDR	MTP/MPO-12 APC
	800G Transceiver	InfiniBand NDR	Dual MTP/MPO-12 APC
InfiniBand DAC-Kabel	40G DAC-Kabel	InfiniBand FDR10	QSFP+ to QSFP+
	56G DAC-Kabel	InfiniBand FDR	QSFP+ to QSFP+
	100G DAC-Kabel	InfiniBand EDR	QSFP28 to QSFP28
	200G DAC-Kabel	InfiniBand HDR	QSFP56 bis QSFP56; QSFP56 bis 2 QSFP56
	400G DAC-Kabel	InfiniBand HDR	OSFP bis 2x QSFP56
	800G DAC-Kabel	InfiniBand NDR	OSFP bis OSFP; OSFP bis 2× OSFP; OSFP bis 4× OSFP
InfiniBand DAC-Kabel	40G AOC-Kabel	InfiniBand FDR10	QSFP+ bis QSFP+
	56G AOC-Kabel	InfiniBand FDR	QSFP+ bis QSFP+
	100G AOC-Kabel	InfiniBand EDR	QSFP28 bis QSFP28
	200G AOC-Kabel	InfiniBand HDR	QSFP56 bis QSFP56; QSFP56 bis 2x QSFP56; 2x QSFP56 bis 2x QSFP56
	400G AOC-Kabel	InfiniBand HDR	OSFP bis 2× QSFP56

InfiniBand Adapter

Die InfiniBand-Adapter von FS bieten die leistungsstärkste und flexibelste Lösung, um die ständig wachsenden Anforderungen von Rechenzentren zu erfüllen. Zusätzlich zu den innovativen Funktionen der Vorgängerversionen bieten die ConnectX-6-Karten und ConnectX-7-Karten eine Reihe von Verbesserungen, die die Leistung und Skalierbarkeit noch weiter steigern.

InfiniBand-Switches

InfiniBand-Switches, NVIDIA Quantum/Quantum-2 bieten Hochgeschwindigkeitsverbindungen für bis zu 200 Gb/s, 400 Gb/s, extrem niedrige Latenz und skalierbare Lösungen, die Forschung, Innovation und Produktentwicklung für KI-Entwickler und wissenschaftliche Forscher beschleunigen.

Fazit

Es gibt sowohl geeignete Anwendungsszenarien für InfiniBand als auch für Ethernet. Bei InfiniBand muss die CPU nicht mehr Ressourcen für die Netzwerkverarbeitung opfern, da das InfiniBand-Netz eine deutlich höhere Datenübertragungsrate bietet, was die Netzwerkauslastung verbessert. Dies ist einer der Hauptgründe, warum das InfiniBand-Netzwerk die wichtigste Netzwerklösung für die High-Performance-Computing-Branche werden wird. In Zukunft werden auch 1600 Gbps GDR und 3200 Gbps LDR InfiniBand-Produkte auf den Markt kommen. Wenn keine hohen Anforderungen an die Kommunikationsverzögerung zwischen den Knoten des Rechenzentrums bestehen und ein flexibler Zugang und eine flexible Erweiterung wichtiger sind, können auch Ethernet-Netzwerke in Betracht gezogen werden.