Ein detaillierter Leitfaden zum RoCE v2-Netzwerk

In der sich stetig weiterentwickelnden Welt der Netzwerktechnologien hat sich Remote Direct Memory Access (RDMA) als ein entscheidender Standard herauskristallisiert. Er rationalisiert Datenübertragungsprozesse und verbessert die Gesamteffizienz des Netzwerks. Eine herausragende RDMA-Technologie ist RoCE (RDMA over Converged Ethernet), deren zweite Version, RoCE v2, erhebliche Fortschritte in Bezug auf Leistung und Vielseitigkeit gemacht hat. Dieser Artikel beleuchtet die Merkmale von RoCE v2 und geht dabei auf die Technologie, die Netzwerkkarten und den Vergleich mit InfiniBand ein.

Was ist RoCE v2?

RoCE v2 ist ein RDMA-Protokoll, das Datenübertragungen mit niedriger Latenz und hohem Durchsatz über Ethernet-Netzwerke ermöglicht. Im Gegensatz zu herkömmlichen Datenübertragungsmethoden, die mehrere Verarbeitungsschichten haben, ermöglicht RoCE v2 den direkten Speicherzugriff zwischen Systemen, wodurch die CPU-Beteiligung minimiert und die Latenz verringert wird. Dies macht RoCE v2 besonders vorteilhaft in Szenarien, die eine schnelle und effiziente Datenkommunikation erfordern, wie z. B. im High-Performance-Computing (HPC), in Rechenzentren und oder beim Cloud Computing.

Das Protokoll baut auf der Grundlage seines Vorgängers RoCE v1 auf und enthält Verbesserungen, die bestimmte Einschränkungen beheben und die Gesamtleistung verbessern. RoCE v2 nutzt eine Converged Ethernet-Infrastruktur, die die Koexistenz von herkömmlichem Ethernet-Datenverkehr und RDMA-Datenverkehr im selben Netzwerk ermöglicht. Diese Konvergenz vereinfacht die Netzwerkverwaltung und macht eine separate RDMA-Fabric überflüssig, wodurch RoCE v2 zugänglicher und kostengünstiger wird.

RoCE-Netzwerkkarte

Das Herzstück eines RoCE v2-Systems ist die RoCE-Netzwerkkarte, eine spezielle Netzwerkkarte (NIC), die für die Unterstützung von RDMA-Vorgängen entwickelt wurde. Diese Karten, die auch als RoCE-Adapter bezeichnet werden, sind von zentraler Bedeutung für den direkten Speicherzugriff zwischen Systemen. RoCE-Netzwerkkarten sind mit den notwendigen Hardware-Funktionen ausgestattet, um RDMA-Vorgänge von der CPU zu entlasten, was zu einer geringeren Latenz und einer verbesserten Gesamtsystemleistung führt.

Der Kern von Hochleistungs-Switches liegt in den verwendeten Forwarding-Chips. Vor allem die Chips der Serie Tomahawk3 sind in Switches weit verbreitet, wobei der Trend zunehmend in Richtung Chips der Serie Tomahawk4 geht. Diese Entwicklung verdeutlicht die Bedeutung dieser Chips, die auf dem aktuellen kommerziellen Markt häufig für die Weiterleitung von Daten verwendet werden.

RoCE v2 vs. Infiniband

RoCE v2 (RDMA over Converged Ethernet Version 2) und InfiniBand sind beides Technologien, die für die Hochgeschwindigkeitskommunikation mit geringer Latenz in Rechenzentren und Hochleistungs-Computing-Umgebungen entwickelt wurden. Hier sind einige wichtige Unterschiede aufgelistet:

Bitübertragungsschicht

• RoCE v2: Stützt sich auf die Ethernet-Infrastruktur und ermöglicht die Konvergenz von Speicher- und regulärem Datenverkehr im selben Netzwerk. Dadurch lässt es sich auch leichter in bereits bestehende Rechenzentren integrieren.

• InfiniBand: Verwendet eine eigene, vom Ethernet getrennte Struktur für die Kommunikation. Oftmals ist ein spezielles InfiniBand-Netzwerk erforderlich, das unter Umständen eine separate Verkabelung und Switches erfordert.

Protokollstacks und Netzwerk-Stacks

• RoCE v2: Verwendet das RDMA-Protokoll (Remote Direct Memory Access) über Ethernet. Es lässt sich in den herkömmlichen TCP/IP-Stack integrieren und ist somit mit Standard-Netzwerkprotokollen kompatibel.

• InfiniBand:Verfügt über einen eigenen Protokollstack, der für Hochgeschwindigkeitskommunikation mit geringer Latenz optimiert ist, sowie über einen Netzwerkstack, der möglicherweise spezielle Treiber und Konfigurationen erfordert.

Switching

• RoCE v2: Kann über Standard-Ethernet-Switches mit Data Center Bridging Funktionen (DCB) betrieben werden und unterstützt verlustfreies Ethernet.

• InfiniBand: Erfordert InfiniBand-Switches , die speziell für die Kommunikation mit niedriger Latenz und hohem Durchsatz ausgelegt sind.

Überlastung

RoCE v2:

• Umgang mit Überlastungen: RoCE v2 nutzt die Data Center Bridging Funktionen (DCB) von Ethernet-Switches, um Überlastungen zu bewältigen. DCB bietet eine verlustfreie Ethernet-Umgebung, die Paketverluste aufgrund von Überlastungen verhindert.

• Überlastungssteuerung: RoCE selbst verfügt nicht über integrierte Überlastungssteuerungsmechanismen. Stattdessen verlässt es sich auf die zugrunde liegende Ethernet-Infrastruktur, um Überlastungen zu bewältigen.

InfiniBand:

• Umgang mit Überlastungen: InfiniBand bietet native Unterstützung für die Überlastungssteuerung. Es verwendet Mechanismen wie die Credit-basierte Datenflusssteuerung, um Überlastungen zu verhindern und eine verlustfreie Kommunikation zu gewährleisten.

• Überlastungssteuerung: InfiniBand umfasst adaptive Routing- und Überlastungssteuerungs-Algorithmen zur dynamischen Anpassung der Datenverkehrswege und zur Vermeidung von Überlastungen im Netz.

Routing

RoCE v2:

• Routing-Mechanismus: RoCE v2 stützt sich bei Routing-Entscheidungen in der Regel auf herkömmliche Ethernet-Routing-Protokolle wie das Routing Information Protocol (RIP) oder Open Shortest Path First (OSPF).

• Topologie: InfiniBand unterstützt eine Vielzahl von Topologien, darunter Fat-Tree, Hypercube und Multi-Rail. Die Wahl der Topologie kann die Routing-Entscheidungen beeinflussen.

Die Wahl zwischen RoCE v2 und InfiniBand hängt von Faktoren wie der vorhandenen Infrastruktur, den Anwendungsanforderungen und den spezifischen Anforderungen der Umgebung ab. RoCE v2 bietet eine nahtlosere Integration in bestehende Ethernet-Netzwerke, während InfiniBand in High-Performance-Computing-Umgebungen, die ein Höchstmaß an Leistung und Skalierbarkeit erfordern, bevorzugt werden sollte.

UEC führt neues Transportprotokoll ein

Das Ultra Ethernet Consortium (UEC) wurde am 19. Juli offiziell gegründet, mit dem primären Ziel, die derzeitigen Ethernet-Funktionen zu übertreffen. Zu den Gründungsmitgliedern gehören AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta und Microsoft. Diese Unternehmen verfügen gemeinsam über jahrzehntelange Erfahrung in den Bereichen Netzwerkinfrastruktur, künstliche Intelligenz, Cloud-Technologien und High-Performance-Computing.

Das UEC vertritt die Ansicht, dass die seit Jahrzehnten vorherrschende Remote Direct Memory Access Technologie (RDMA) für die hohen Anforderungen des ML-Netzwerkdatenverkehrs nicht mehr ausreicht. Die Tendenz von RDMA, Daten in großen Datenverkehrsblöcken zu übertragen, kann zu einem Ungleichgewicht der Verbindungen und einer übermäßigen Belastung führen. Die UEC plädiert dafür, die Entwicklung eines zeitgemäßen Transportprotokolls zu initiieren, das RDMA für neue Anwendungen integriert.

Fazit

RoCE v2 ist ein wichtiger Faktor im Bereich der RDMA-Technologien und bietet eine leistungsstarke Lösung für Unternehmen, die eine hochleistungsfähige Datenkommunikation mit geringer Latenz suchen. Die Konvergenz über die Ethernet-Infrastruktur in Verbindung mit den Fortschritten des UEC-Transportprotokolls macht RoCE v2 zu einer vielseitigen und kosteneffizienten Wahl für verschiedene Anwendungen, von HPC-Umgebungen bis zum Cloud Computing.

Während Vergleiche mit InfiniBand die Stärken von RoCE v2 hervorheben, müssen Unternehmen bei der Auswahl der am besten geeigneten RDMA-Lösung ihre spezifischen Anforderungen und bestehenden Infrastrukturen berücksichtigen. Mit der Weiterentwicklung der Technologie werden RoCE v2 und die damit verbundenen Innovationen eine entscheidende Rolle bei der Gestaltung der Zukunft von Hochleistungsnetzwerken spielen.