Einblicke zu Infiniband: Leistungsstarke Datenverarbeitung im digitalen Zeitalter

Seit Beginn des 21. Jahrhunderts ist die rasante Entwicklung von Rechenzentren, angetrieben durch die steigende Popularität von Cloud Computing und Big Data, immer deutlicher geworden. In dieser dynamischen Landschaft hat sich InfiniBand als eine zentrale Technologie herauskristallisiert, die eine entscheidende Rolle im Inneren von Rechenzentren spielt. Vor allem der Vormarsch großer KI-Modelle, die durch Innovationen wie ChatGPT veranschaulicht werden, wird InfiniBand ab 2023 eine noch wichtigere Rolle zukommen lassen. Das ist darauf zurückzuführen, dass die Netzwerke der GPT-Modelle mithilfe von InfiniBand erbaut wurden.

Doch was genau ist die InfiniBand-Technologie und welche Eigenschaften tragen zu ihrer breiten Anwendung bei? Und warum wird die Debatte „InfiniBand vs. Ethernet“ immer wieder geführt? Dieser umfassende Artikel möchte auf jede dieser Fragen eingehen und bietet wertvolle Einblicke in die Komplexität der InfiniBand-Technologie und ihre Bedeutung in der sich ständig weiterentwickelnden Landschaft des High-Performance-Computings.

Die evolutionäre Entwicklung der InfiniBand-Technologie

Die Wurzeln von InfiniBand (IB), einem robusten Kommunikationsprotokoll, sind mit der Entwicklung der Computerarchitektur verwoben. Die Grundlage moderner Digitalcomputer beruht auf der von-Neumann-Architektur, einer Struktur mit wesentlichen Komponenten wie CPUs, die die arithmetische Logikeinheit und die Steuereinheit umfassen, Speicher (einschließlich RAM und Festplatte), sowie E/A-Geräte.

In den frühen 1990er Jahren stieg die Nachfrage nach Unterstützung für eine wachsende Anzahl externer Geräte in der Computerlandschaft sprunghaft an. Als Reaktion auf diesen Bedarf wurde Intel zum Vorreiter und führte den PCI-Bus (Peripheral Component Interconnect) in die standardmäßige PC-Architektur ein. Dieser innovative Schritt stellte einen entscheidenden Moment in der Entwicklung von Computern dar und legte den Grundstein für das spätere Aufkommen des leistungsfähigen Kommunikationsprotokolls, das wir heute als InfiniBand kennen.

In der Folgezeit durchlief das Internet eine rasante Entwicklungsphase, die mit dem florierenden Wachstum von Online-Geschäften und Nutzerbeständen einherging, was wiederum erhebliche Herausforderungen an die Kapazität der IT-Systeme stellte.

Trotz der bemerkenswerten Fortschritte bei Komponenten wie CPUs, Arbeitsspeicher und Festplatten, die durch die Dynamik des Mooreschen Gesetzes vorangetrieben wurden, geriet der PCI-Bus in dieser Zeit in Verzug. Dieses langsamere Entwicklungstempo schränkte die E/A-Leistung erheblich ein und stellte einen Engpass für das gesamte System dar.

Als Reaktion auf diesen Engpass wurde in Zusammenarbeit mit Branchenriesen wie Intel, Microsoft und SUN der Technologiestandard „Next Generation I/O (NGIO)“ entwickelt. Gleichzeitig übernahmen IBM, Compaq und Hewlett-Packard die Entwicklung von „Future I/O (FIO)“. Diese drei Unternehmen leisteten gemeinsam Pionierarbeit bei der Entwicklung des PCI-X-Standards im Jahr 1998.

In einer entscheidenden Phase schlossen sich das FIO Developers Forum und das NGIO Forum zusammen und legten damit den Grundstein für die Gründung der InfiniBand Trade Association. Diese gemeinsamen Bemühungen ebneten den Weg für die offizielle Veröffentlichung der Version 1.0 der InfiniBand-Architektur-Spezifikation im Jahr 2000. Mit der Einführung von InfiniBand sollte im Wesentlichen der PCI-Bus abgelöst werden. Mit der Einführung des RDMA-Protokolls bot InfiniBand eine geringere Latenzzeit, eine höhere Bandbreite und eine verbesserte Zuverlässigkeit und ermöglichte so eine höhere E/A-Leistung.

Im Mai 1999 schloss sich eine Gruppe ehemaliger Mitarbeiter von Intel und Galileo Technology zusammen und gründete das israelische Chip-Unternehmen Mellanox. Nach der Gründung schloss sich Mellanox mit NGIO zusammen. Als dann NGIO und FIO fusionierten, übernehm Mellanox nahtlos das InfiniBand-Ökosystem. Das Jahr 2001 markierte einen Meilenstein, als Mellanox sein erstes InfiniBand-Produkt vorstellte.

Die Entwicklung der InfiniBand-Gemeinschaft erfuhr jedoch im Jahr 2002 eine bemerkenswerte Veränderung. Intel, einer der Hauptakteure, lenkte seine Aufmerksamkeit abrupt auf die Entwicklung von PCI Express (PCIe), das 2004 offiziell eingeführt wurde. Gleichzeitig zog sich ein weiterer wichtiger Mitwirkender, Microsoft, von der aktiven Beteiligung an der InfiniBand-Entwicklung zurück. Einige Unternehmen wie SUN und Hitachi hielten zwar durch, doch das Ausscheiden der Branchenriesen überschattete Entwicklung von InfiniBand.

Ein Wendepunkt kam 2003, als InfiniBand einen neuen Anwendungsbereich fand: die Zusammenschaltung von Computerclustern. Im selben Jahr baute die Virginia Tech einen auf der InfiniBand-Technologie basierenden Cluster und sicherte sich damit den dritten Platz auf der TOP500-Liste, einer weltweiten Rangliste von Supercomputern.

Im Jahr 2004 entstand eine weitere bemerkenswerte gemeinnützige InfiniBand-Organisation: die Open Fabrics Alliance (OFA). OFA und IBTA arbeiten zusammen, wobei sich IBTA auf die Entwicklung, Pflege und Verbesserung der InfiniBand-Protokollstandards konzentriert, während OFA für die Entwicklung und Pflege sowohl des InfiniBand-Protokolls als auch der übergeordneten Anwendungs-APIs zuständig ist.

Im Jahr 2005 fand InfiniBand ein weiteres Anwendungsszenario: die Verbindung von Speichergeräten. In diesem Zeitraum wurden auch InfiniBand und Fibre Channel (FC) als SAN-Technologien (Storage Area Network) populär, wodurch die InfiniBand-Technologie an mehr Bekanntheit gewann.

Mit der zunehmenden Verbreitung von InfiniBand wuchs auch die Nutzerbasis; bis 2009 nutzten 181 Systeme in der TOP500-Liste die InfiniBand-Technologie, obwohl Gigabit Ethernet mit 259 Systemen nach wie vor führt.

Nach dem Jahr 2012 hat sich die InfiniBand-Technologie aufgrund der steigenden Anforderungen des High-Performance-Computing (HPC) weiterentwickelt und ihren Marktanteil stetig erhöht. Im Jahr 2015 überschritt sie zum ersten Mal einen Anteil von 50 % in der TOP500-Liste, was ein neuer, wichtiger Meilenstein ist. InfiniBand wurde zur bevorzugten internen Verbindungstechnologie für Supercomputer.

Als Reaktion auf die Fortschritte von InfiniBand wurde Ethernet weiterentwickelt. Im April 2010 stellte IBTA RoCE (RDMA over Converged Ethernet) vor, eine „Portierung“ der RDMA-Technologie von InfiniBand auf Ethernet. Im Jahr 2014 wurde eine ausgereiftere Version, RoCE v2, vorgestellt. Mit RoCE v2 wurde die technologische Leistungslücke von Ethernet zu InfiniBand erheblich kleiner und RoCE v2 wies vor allem Kosten- und Kompatibilitätsvorteile auf.

Das folgende Diagramm zeigt die Technologieanteile in der TOP500-Liste von 2007 bis 2021 und verdeutlicht die dynamische Landschaft der High-Performance-Computing-Technologien.

Wie aus dem Diagramm ersichtlich ist, begann der Aufstieg von 25G- und Hochgeschwindigkeits-Ethernet (dargestellt durch die dunkelgrüne Linie) im Jahr 2015, gewann schnell die Gunst der Branche und stellte InfiniBand kurzzeitig in den Schatten. Der Aufstieg großer KI-Sprachmodelle, veranschaulicht durch GPT-3, hat einen exponentiellen Anstieg der Nachfrage nach High-Performance-Computing und intelligentem Computing ausgelöst.

Um die enormen Rechenanforderungen zu erfüllen, die große KI-Sprachmodelle wie GPT-3 stellen, bieten High-Performance-Computing-Cluster das unverzichtbare Rückgrat. Wenn es um Leistung geht, ist InfiniBand die bevorzugte Wahl für solche Cluster.

Im Bereich der Hochleistungsnetzwerke findet der Kampf in erster Linie zwischen InfiniBand und High-Speed-Ethernet statt, wobei beide Seiten vergleichbare Fähigkeiten aufweisen. Hersteller, die über umfangreiche Ressourcen verfügen, entscheiden sich häufig für InfiniBand, während diejenigen, die Wert auf Kosteneffizienz legen, eher zu High-Speed-Ethernet tendieren.

Andere Technologien, wie IBMs BlueGene, Cray und Intels OmniPath, sind als Alternativen in der zweiten Reihe zu finden. Das komplizierte Zusammenspiel dieser Technologien spiegelt die dynamische Landschaft des High-Performance-Computings wider.

Technische Grundlagen von InfiniBand

Nachdem wir die Entwicklungsgeschichte von InfiniBand näher dargelegt haben, zeigen wir nun, anhand der Funktionen, warum InfiniBand das herkömmliche Ethernet in Bezug auf Leistung und Latenz übertrifft. Wie erreicht InfiniBand eine so geringe Latenz und hohe Leistung?

Wegweisender Fortschritt: RDMA

Wie bereits erwähnt, ist ein herausragendes Merkmal von InfiniBand die frühe Integration des RDMA-Protokolls (Remote Direct Memory Access).

Im konventionellen TCP/IP-Rahmen werden die Daten von der Netzwerkkarte zum Hauptspeicher übertragen und dann zusätzlich in den Speicherbereich der Anwendung transferiert. Umgekehrt folgen die Daten aus dem Anwendungsbereich einem ähnlichen Weg: sie werden vom Anwendungsbereich in den Hauptspeicher übertragen, bevor sie über die Netzwerkkarte ins Internet gelangen.

Diese komplizierte E/A-Operation erfordert Zwischenkopien im Hauptspeicher, die den Datenübertragungsweg verlängern, die CPU belasten und eine Übertragungslatenz verursachen.

RDMA ist eine Technologie, die Zwischenstationen effektiv „eliminiert“. RDMA arbeitet mit einem Kernel-Bypass-Mechanismus und ermöglicht direkte Lese- und Schreibvorgänge zwischen Anwendungen und der Netzwerkkarte, wodurch die Latenz bei der Datenübertragung innerhalb von Servern auf nahezu 1 Mikrosekunde reduziert wird.

Darüber hinaus erlaubt der Zero-Copy-Mechanismus von RDMA dem Empfänger, direkt auf Daten aus dem Speicher des Senders zuzugreifen, wodurch die Beteiligung des Hauptspeichers umgangen wird. Dies führt zu einer erheblichen Verringerung der CPU-Belastung, was die Gesamteffizienz der CPU erheblich steigert.

Wie bereits hervorgehoben wurde, ist die weite Verbreitung von InfiniBand größtenteils dem Einfluss von RDMA auf die Effizienz der Datenübertragung zu verdanken.

Netzwerkarchitektur von InfiniBand

Die Netzwerktopologiestruktur von InfiniBand wird im folgenden Diagramm visuell dargestellt:

InfiniBand basiert auf einer kanalbasierten Architektur, die vier Hauptkomponenten umfasst:

• HCA (Host Channel Adapter)

• TCA (Target Channel Adapter)

• InfiniBand links (Verbindungskanäle, die von Kabeln über Glasfasern bis hin zu On-Board-Links reichen)

• InfiniBand-Switches und InfiniBand-Router (integral für die Vernetzung)

Channel-Adapter, insbesondere HCA und TCA, spielen eine entscheidende Rolle bei der Einrichtung von InfiniBand-Kanälen und gewährleisten sowohl die Sicherheit als auch die Einhaltung der festgelegten Dienstgüte (QoS) für alle Übertragungen.

Systeme, die InfiniBand nutzen, können in mehrere Subnetze unterteilt werden, wobei jedes Subnetz über 60.000 Knoten unterstützen kann. Innerhalb eines Subnetzes übernehmen InfiniBand-Switches die Layer-2-Verarbeitung, während Router oder Bridges die Konnektivität zwischen den Subnetzen erleichtern.

Die Verarbeitung auf dem zweiten Layer in InfiniBand ist rationalisiert. Jedes InfiniBand-Subnetz ist mit einem Subnetzmanager ausgestattet, der einen 16-Bit Local Identifier (LID) erzeugt. InfiniBand-Switches, die aus mehreren Ports bestehen, erleichtern die Weiterleitung von Datenpaketen von einem Port zum anderen auf der Grundlage der im Layer 2 Local Routing Header enthaltenen LID. Switches sind in erster Linie für die Verwaltung von Paketen zuständig und erzeugen oder verbrauchen keine Datenpakete.

Dank der unkomplizierten Verarbeitung und der firmeneigenen Cut-Through-Technologie erreicht InfiniBand eine erhebliche Reduzierung der Weiterleitungslatenz auf Werte unter 100 ns. Diese Latenz ist deutlich schneller als bei herkömmlichen Ethernet-Switches.

Innerhalb des InfiniBand-Netzes werden Daten in Form von Paketen mit einer maximalen Größe von 4 KB übertragen, wobei ein serieller Ansatz verwendet wird.

InfiniBand Protokollstack

Das InfiniBand-Protokoll basiert auf einem strukturierten Schichtkonzept, bei dem jede Schicht (auch Layer) unabhängig arbeitet und Dienste für die darüber liegende Schicht bereitstellt. Eine visuelle Darstellung finden Sie im folgenden Diagramm:

Der InfiniBand Protokollstack umfasst die Bitübertragungsschicht, die festlegt, wie Bitsignale in Symbole auf der Leitung, Rahmen, Datensymbole und Datenpuffer zwischen Paketen strukturiert werden. Sie bietet präzise Spezifikationen für Signalisierungsprotokolle, die den Aufbau effizienter Pakete erleichtern.

Auf der nächsthöheren Schicht definiert die Sicherungsschicht das Format von Datenpaketen und legt Protokolle für wichtige Paketoperationen wie Datenflusssteuerung, Routing-Auswahl, Codierung und Decodierung fest.

Die Vermittlungsschicht übernimmt die Routing-Auswahl, indem sie einen 40-Byte-Global-Route-Header (GRH) an das Datenpaket anhängt, der eine effektive Datenweiterleitung ermöglicht.

Bei der Weiterleitung führen die Router variable CRC-Prüfungen durch, um die Integrität der End-to-End-Datenübertragung sicherzustellen.

Auf der nächsthöheren Schicht des Protokollstacks übernimmt die Transportschicht die Übertragung des Datenpakets an ein bestimmtes Warteschlangenpaar (Queue Pair, QP) und gibt dem QP Anweisungen für die effektive Verarbeitung des Pakets.

Die klar definierten Schichten 1–4 von InfiniBand bilden zusammen ein umfassendes Netzwerkprotokoll und die End-to-End-Datenflusssteuerung bildet die Grundlage für die Übertragung und den Empfang von Paketen im Netzwerk und gewährleistet verlustfreie Netzwerke.

Warteschlangenpaare (Queue Pairs, QPs) spielen eine zentrale Rolle in der RDMA-Technologie. QPs bestehen aus zwei Warteschlangen, der Send Queue (SQ) und der Receive Queue (RQ), und dienen als grundlegende Kommunikationseinheiten. Wenn Benutzer API-Aufrufe zum Senden oder Empfangen von Daten aufrufen, legen sie die Daten im Wesentlichen in der QP ab. Die Anfragen innerhalb der QP werden dann mit Hilfe eines Polling-Mechanismus sequentiell verarbeitet.

InfiniBand-Verbindungsrate

InfiniBand-Verbindungen können entweder mit Kupferkabeln oder Glasfaserkabeln aufgebaut werden, wobei spezielle InfiniBand-Kabel je nach den spezifischen Verbindungsanforderungen ausgewählt werden.

Auf der Bitübertragungsschicht definiert InfiniBand mehrere Verbindungsgeschwindigkeiten, wie z. B. 1X, 4X und 12X, die jeweils eine vieradrige serielle Differenzialverbindung mit zwei Drähten in jeder Richtung verwenden.

Die frühe SDR-Spezifikation (Single Data Rate) sah zum Beispiel eine Bandbreite von 2,5 Gbit/s für eine 1X-Verbindung, 10 Gbit/s für eine 4X-Verbindung und 30 Gbit/s für eine 12X-Verbindung vor. Aufgrund der Verwendung der 8b/10b-Kodierung betrug die tatsächliche Datenbandbreite für eine 1X-Verbindung jedoch 2,0 Gbit/s. In Anbetracht der bidirektionalen Beschaffenheit der Verbindung betrug die Gesamtbandbreite im Verhältnis zum Bus 4 Gbit/s.

Im Laufe der Zeit wurde die Bandbreite des InfiniBand-Netzwerks kontinuierlich verbessert, von SDR, DDR, QDR, FDR, EDR und HDR zu NDR, XDR und GDR, wie im folgenden Diagramm dargestellt:

Angebot von InfiniBand-Produkten

FS.com bietet ein vielfältiges Produktportfolio, das Geschwindigkeiten von 40G bis 800G abdeckt, um die unterschiedlichen Geschwindigkeitsanforderungen der Kunden zu erfüllen, einschließlich NDR, HDR, EDR und FRD. Unsere Produktlinie umfasst InfiniBand Quantum/Quantum-2-Switches, InfiniBand-Module, InfiniBand-Adapter, sowie AOC/DAC-Kabel, die Entfernungen von 0,5 Metern bis 100 Metern unterstützen. Diese Produkte unterstützen nicht nur Hochgeschwindigkeitsverbindungen und extrem niedrige Latenzen, sondern bieten auch skalierbare Lösungen, die die Forschung, Innovation und Produktentwicklung für KI-Entwickler und wissenschaftliche Forscher beschleunigen.

Darüber hinaus verfügen wir über 7 Lager auf der ganzen Welt, um eine schnelle Lieferung zu garantieren. FS führt strikte Leistungs-, Zuverlässigkeits-, Szenario- und Kompatibilitätstests durch, um ein hervorragendes Produkt zu gewährleisten. FS.com verfügt über ein professionelles technisches Team und umfassende Erfahrung in der Bereitstellung von Lösungen für verschiedene Anwendungsszenarien. Wir bieten aktiv Lösungen für High-Performance-Computing, Rechenzentren, Bildung, Forschung, Biomedizin, Finanzen, Energie, autonomes Fahren, Internet, Fertigung und Telekommunikation. Wir bieten auch professionelle Dienstleistungen für Kunden in anderen Bereichen an.

Fazit

Zusammenfassend lässt sich sagen, dass die Entwicklung von InfiniBand vielversprechend erscheint, angetrieben durch die steigenden Anforderungen von High-Performance-Computing und künstlicher Intelligenz.

InfiniBand, das in ausgedehnten Rechenclustern und Supercomputern weit verbreitet ist, zeichnet sich durch seine hohe Leistung und niedrige Latenz aus. Es erfüllt nahtlos die Anforderungen umfangreicher Datenübertragungen und gleichzeitiger Berechnungen, indem es eine höhere Bandbreite und geringere Latenzen bietet. Die Anpassungsfähigkeit an unterschiedliche Topologien und komplizierte Kommunikationsmuster macht InfiniBand zu einer einzigartigen Lösung für High-Performance-Computing und KI.

Nichtsdestotrotz befindet sich Ethernet, eine weit verbreitete Netzwerktechnologie, weiterhin auf einem Entwicklungspfad. Gekennzeichnet durch steigende Geschwindigkeiten und technologische Durchbrüche hat Ethernet seine Daseinsberechtigung in Rechenzentren gefestigt und bestimmte Lücken zu InfiniBand überbrückt. Dank eines umfassenden Ökosystems und einer ausgereiften Standardisierungsunterstützung erweist sich Ethernet als eine zugängliche und verwaltbare Lösung in typischen Rechenzentrumsumgebungen.

Im Zuge des technologischen Fortschritts und der sich ändernden Anforderungen kann sowohl InfiniBand als auch Ethernet, je nach verschiedenen Anwendungsszenarien, benutzt werden. Der letztendliche Sieger zwischen InfiniBand und Ethernet bleibt zunächst ungewiss. Zweifelsohne werden diese beiden Technologien die Entwicklung der Informationstechnologie weiter vorantreiben, den steigenden Bandbreitenbedarf decken und die effiziente Datenübertragung und -verarbeitung unterstützen.