Fortschritte in der DPU-Technologie: Ermöglichung zukünftiger Innovationen

Mit der Entwicklung von Cloud Computing und Virtualisierungstechnologien haben auch die Netzwerkkarten vier Stufen hinsichtlich Funktionalität und Hardwarestruktur durchlaufen: NICs, SmartNIC, FPGA-basierte DPU und DPU SoC NIC. In diesem Artikel erläutern wir die verschiedenen Arten von Netzwerkkarten und Prozessoren, die in Rechenzentren verwendet werden, und konzentrieren uns dabei auf deren Hardware, Programmierbarkeit, Entwicklung und Anwendung.

Die Entwicklung und Anwendung von Netzwerkschnittstellen-Controllern (NICs)

Die herkömmliche Basis-Netzwerkkarte, auch bekannt als NIC oder Netzwerkadapter, spielt eine wichtige Rolle in Computernetzwerken. Ihre Hauptfunktion besteht darin, Daten für eine effiziente Übertragung zwischen Netzwerkgeräten umzuwandeln. Im Laufe der Zeit haben Fortschritte ihre Fähigkeiten erweitert. NICs verfügen jetzt über zusätzliche Funktionen und grundlegende Hardware-Offloading-Fähigkeiten, wie CRC-Check, TSO/UF0, LSO/LR0 und VLAN-Unterstützung. Außerdem unterstützen sie SR-IOV für die Virtualisierung und QoS für eine verbesserte Netzwerkleistung. Was die Bandbreite der Netzwerkschnittstelle betrifft, so hat sie sich von 100M- und 1000M-Geschwindigkeiten weiterentwickelt und unterstützt höhere Geschwindigkeiten von 10G, 25G und sogar 100G.

In Cloud-Computing-Virtualisierungsnetzwerken bietet die herkömmliche Basis-Netzwerkkarte drei primäre Methoden zur Bereitstellung des Netzwerkzugangs für virtuelle Maschinen.

1. Über den Kernel-Protokollstapel des Betriebssystems leitet die Netzwerkkarte den eingehenden Datenverkehr an die virtuellen Maschinen weiter.

2. Der DPDK-Treiber für den Benutzermodus umgeht den Kernel-Protokollstapel und kopiert Datenpakete direkt in den Speicher der virtuellen Maschine, um die Leistung zu verbessern.

3. Die SR-IOV-Technologie virtualisiert die physische Netzwerkkarte in mehrere virtuelle Funktionen (VFs), die direkt den virtuellen Maschinen zugewiesen werden.

Da die Netzwerkkomplexität mit Tunnelprotokollen wie VxLAN und virtuellen Switching-Technologien zunimmt, werden die CPU-Ressourcen stärker beansprucht. SmartNICs gehen diese Herausforderung an, indem sie Netzwerkverarbeitungsaufgaben von der CPU entlasten und so die Gesamtleistung des Netzwerks verbessern.

Entwicklung und Anwendung von SmartNIC

SmartNICs bieten mehr als nur Netzwerkübertragungsfunktionen, die in herkömmlichen Basis-Netzwerkkarten zu finden sind. Sie enthalten Hardware-Offloading-Funktionen für die Datenebene, wie z. B. OVS/vRouter-Hardware-Offloading, unter Verwendung von FPGA oder integriertem Prozessor mit FPGA und Prozessorkern. Diese SmartNICs verbessern die Weiterleitungsrate von Cloud-Computing-Netzwerken und entlasten die Rechenressourcen der Host-CPU.

Im Gegensatz zu herkömmlichen Netzwerkkarten verfügen SmartNICs nicht über eine Mehrzweck-CPU. Stattdessen verlassen sie sich auf die Host-CPU, um die Steuerungsebene zu verwalten. Der Schwerpunkt der SmartNIC-Beschleunigung liegt auf der Datenebene und umfasst Aufgaben wie Fast-Path-Offloading für virtuelle Switches wie 0VS/vRouter, RDMA-Netzwerk-Offloading, NVMe-oF-Speicher-Offloading und IPsec/TLS-Offloading der Datenebene.

Da die Netzwerkgeschwindigkeiten bei Cloud-Computing-Anwendungen jedoch immer weiter steigen, wendet die Host-CPU trotz dieser Fortschritte immer noch erhebliche Ressourcen für ddie Klassifizierung, das Tracking und die Kontrolle des Datenverkehrs auf. Das Erreichen eines „Nullverbrauchs“ der Host-CPU ist zur nächsten Forschungsrichtung für Cloud-Anbieter geworden, die darauf abzielen, die Beteiligung der Host-CPU an diesen Aufgaben zu minimieren.

Entwicklungen und Anwendungen der FPGA-basierten DPU

Die FPGA-basierte DPU ist eine intelligente Netzwerkkarte, die Daten auslagern kann und über Funktionen zur Steuerung der Ebene verfügt. Sie ist auch teilweise programmierbar, sowohl für die Steuer- als auch für die Datenebene. Die Hardware besteht aus einem Allzweck-CPU-Prozessor auf FPGA-Basis, z. B. einer Intel-CPU.

Im Vergleich zu SmartNICs verbessern FPGA-basierte DPUs die Hardware-Architektur, indem sie zusätzlich eine Mehrzweck-CPU verwenden, was zu einer FPGA+CPU-Architektur führt. Diese Konfiguration erleichtert die Beschleunigung und Auslagerung verschiedener Infrastrukturkomponenten, einschließlich Netzwerk, Speicher, Sicherheit und Verwaltung. Derzeit ist die vorherrschende Form von DPUs die FPGA+CPU-Konfiguration. DPUs, die auf dieser Architektur basieren, bieten eine hervorragende Software- und Hardware-Programmierbarkeit.

In den frühen Phasen der DPU-Entwicklung entschieden sich die meisten Hersteller für diesen Ansatz. Er bot kürzere Entwicklungszeiten und schnelle Iterationen und erleichterte die rasche Anpassung von Funktionen. Dadurch konnten die DPU-Hersteller ihre Produkte schnell auf den Markt bringen und mehr Chancen wahrnehmen. Mit dem Übergang der Netzwerkbandbreite von 25G auf 100G stieß die FPGA+CPU DPU-Architektur jedoch an Grenzen, die durch Chip-Prozesse und FPGA-Strukturen bedingt waren. Diese Einschränkungen machten es schwierig, die Chipfläche und den Stromverbrauch effektiv zu kontrollieren und gleichzeitig einen höheren Durchsatz zu erzielen. Folglich wurde die kontinuierliche Entwicklung dieser DPU-Architektur behindert.

Entwicklung und Anwendung von DPU SoC NIC

DPU SoC, basierend auf ASIC (Application-Specific Integrated Circuit), kombiniert die Leistung von dedizierten Beschleunigern mit der Programmierbarkeit von Mehrzweckprozessoren. Im Gegensatz zu FPGA-basierten Architekturen stellen sich DPU-SoCs den Herausforderungen in Bezug auf Kosten, Stromverbrauch und Funktionalität, insbesondere für 100G-Server der nächsten Generation. Sie bieten Vorteile in Bezug auf Kosten, Stromverbrauch, hohen Durchsatz und flexible Programmiermöglichkeiten. DPU-SoCs unterstützen Anwendungsmanagement, virtuelle Maschinen, Container und Bare-Metal-Anwendungen.

Die DPU-Technologie ist auf dem Vormarsch, und programmierbare Mehrzweck-DPU-SoCs sind heute für den Aufbau von Rechenzentren von Cloud-Anbietern unerlässlich. Sie ermöglichen eine effiziente Verwaltung von Rechen- und Netzwerkressourcen, unterstützen verschiedene Cloud-Computing-Szenarien und optimieren die Nutzung von Rechenzentrumsressourcen. Chip-Giganten und führende Cloud-Service-Anbieter haben erhebliche Investitionen in die Forschung, Entwicklung und Nutzung von DPUs getätigt und durch kontinuierliche Erforschung und praktische Umsetzung eine bemerkenswerte Kosteneffizienz erreicht.

DPU in AWS (Amazon Cloud)

AWS (Amazon Web Services), ein führender Anbieter von Cloud-Computing-Diensten, verlässt sich auf das Nitro DPU-System als entscheidende technische Grundlage. Das Nitro DPU-System verlagert Netzwerk-, Speicher-, Sicherheits- und Überwachungsfunktionen effizient auf dedizierte Hardware und Software. Dadurch können Service-Instanzen auf nahezu alle Server-Ressourcen zugreifen, was zu erheblichen Kostensenkungen und höheren jährlichen Einnahmen führt. Das Nitro DPU-System umfasst mehrere Komponenten:

1. Nitro-Karte: Dedizierte Hardware für Netzwerk, Speicher und Steuerung zur Verbesserung der Gesamtsystemleistung.

2. Nitro-Sicherheitschip: Überträgt Virtualisierungs- und Sicherheitsfunktionen auf dedizierte Hardware und Software, um die Angriffsfläche zu verringern und eine sichere Cloud-Plattform zu gewährleisten.

3. Nitro-Hypervisor: Ein leichtgewichtiges Hypervisor-Verwaltungsprogramm, das die Speicher- und CPU-Zuweisung effizient verwaltet und eine mit Bare Metal vergleichbare Leistung bietet.

Durch die Bereitstellung wichtiger Netzwerk-, Sicherheits-, Server- und Überwachungsfunktionen gibt das Nitro DPU-System die zugrunde liegenden Serviceressourcen für die virtuellen Maschinen der Kunden frei. Es ermöglicht AWS, mehr Bare-Metal-Instance-Typen anzubieten und sogar eine Netzwerkleistung von bis zu 100 Gbit/s für bestimmte Infrastrukturen zu ermöglichen.

NVIDIA DPU

NVIDIA, ein bekanntes Halbleiterunternehmen, das für seine Grafikprozessoren (GPUs) in den Bereichen KI und High-Performance-Computing (HPC) bekannt ist, übernahm im April 2020 Mellanox, ein Unternehmen für Netzwerkchips und -geräte, für 6,9 Milliarden US-Dollar. Nach der Übernahme führte NVIDIA die BlueField-Serie von DPUs ein.

Die NVIDIA BlueField-3 DPU, die speziell für KI und beschleunigtes Computing entwickelt wurde, übernimmt die erweiterten Funktionen der BlueField-2 DPU. Sie bietet bis zu 400G Netzwerkkonnektivität und bietet Offloading-, Beschleunigungs- und Isolierungsfunktionen für softwaredefinierte Netzwerk-, Speicher-, Sicherheits- und Verwaltungsfunktionen.

Intel IPU

Intel IPU (Infrastructure Processing Unit) ist ein fortschrittliches Netzwerkgerät, das mit gehärteten Beschleunigern und Ethernet-Verbindungen ausgestattet ist. Es nutzt eng gekoppelte dedizierte programmierbare Kerne zur Beschleunigung und Verwaltung von Infrastrukturfunktionen. Die IPU ermöglicht eine vollständige Auslagerung der Infrastruktur und fungiert als Host-Kontrollpunkt für laufende Infrastrukturanwendungen, was eine zusätzliche Sicherheitsebene darstellt. Durch die Verlagerung aller Infrastrukturdienste vom Server auf die IPU werden Server-CPU-Ressourcen freigesetzt und Cloud-Service-Anbietern ein unabhängiger und sicherer Kontrollpunkt geboten.

Die Roadmap von Intel umfasst die IPU-Produkte Oak Springs Canyon und Mount Evans. Oak Springs Canyon ist ein FPGA-basiertes IPU-Produkt, während Mount Evans IPU ein ASIC-basiertes IPU-Produkt ist. Oak Springs Canyon verfügt über ein Intel Agilex FPGA und eine Xeon-D-CPU, während Mount Evans, das gemeinsam von Intel und Google entwickelt wurde, einen ASIC für die Paketverarbeitung und 16 ARM Neoverse N1-Kerne für leistungsstarke Rechenfunktionen enthält.

DPU in Alibaba Cloud

Alibaba Cloud ist ein Vorreiter bei der Erforschung der DPU-Technologie. Auf dem Alibaba Cloud Summit 2022 wurde der Cloud-Infrastrukturprozessor CIPU vorgestellt, der auf der Shenlong-Architektur basiert. Der CIPU übernimmt die Funktionalität und Positionierung seines Vorgängers, der MoC-Karte (Micro Server on a Card), die mit der DPU-Definition übereinstimmt. Die MoC-Karte verfügt über unabhängige E/A-, Speicher- und Verarbeitungseinheiten und übernimmt Aufgaben der Netzwerk-, Speicher- und Gerätevirtualisierung. MoC-Karten haben vier Entwicklungsstufen durchlaufen:

- Die erste und zweite Generation der MoC-Karten befasste sich mit der Herausforderung der Rechenvirtualisierung ohne Overhead, wobei Netzwerk- und Speichervirtualisierung in Software implementiert wurden.

- Die dritte Generation von MoC-Karten führte erweiterte Netzwerkweiterleitungsfunktionen ein, die die Netzwerkleistung erheblich verbesserten.

- Die vierte Generation von MoC-Karten ermöglicht eine vollständige Hardware-Auslagerung von Netzwerk- und Speicheroperationen und unterstützt auch RDMA-Funktionen.

Die CIPU von Alibaba Cloud, die für das Feitian-System entwickelt wurde, ist entscheidend für den Aufbau einer neuen Generation umfassender Software- und Hardware-Cloud-Computing-Architektur-Systeme.

DPU in der Volcano Engine

Volcano Engine hat sich der Weiterentwicklung der selbst entwickelten DPU-Technologie verschrieben und verwendet einen integrierten Ansatz der Soft- und Hard-Virtualisierung für elastische und skalierbare Hochleistungs-Computing-Dienste. Der elastische Bare-Metal-Server der zweiten Generation und der Cloud-Server der dritten Generation sind beide mit selbstentwickelten DPUs ausgestattet. Diese DPUs wurden umfangreichen Tests unterzogen, um ihre Fähigkeiten und Eignung für verschiedene Anwendungen sicherzustellen. Die EBM-Instanz der zweiten Generation, die im Jahr 2022 auf den Markt kommt, kombiniert die Stabilität und Sicherheit physischer Maschinen mit der Flexibilität virtueller Maschinen und stellt eine neue Generation von Hochleistungs-Cloud-Servern dar. Die ECS-Instanz der dritten Generation, die in der ersten Hälfte des Jahres 2023 auf den Markt kommt, integriert die neueste DPU-Architektur von Volcano Engine mit der firmeneigenen virtuellen Switch- und Virtualisierungstechnologie und verbessert die Netzwerk- und Speicher-E/A-Leistung erheblich. Durch die Kombination der selbst entwickelten DPU, des virtuellen Switches und der Virtualisierungstechnologie will Volcano Engine skalierbare und effiziente High-Performance-Computing-Lösungen anbieten, die den wachsenden Anforderungen des Cloud-Computing gerecht werden.