Guide RDMA sur Ethernet Convergé

En cette période où les données sont omniprésentes, les besoins en réseaux plus rapides, plus efficaces et plus évolutifs n'ont jamais été aussi élevés. Étant donné que les connexions Ethernet TCP/IP traditionnelles sont sensibles au processeur et nécessitent un traitement et une copie supplémentaires des données, elles ne peuvent plus répondre aux besoins actuels du réseau. C'est dans ce contexte que la technologie RDMA over Converged Ethernet (RoCE) fait son apparition. Pour mieux comprendre le fonctionnement de la technologie RoCE, il est préférable de commencer par examiner la technologie RDMA.

Qu'est-ce que RDMA ?

L'accès direct à la mémoire à distance (RDMA) est une technologie qui permet d'accéder directement à la mémoire d'un hôte ou d'un serveur à la mémoire d'un autre hôte ou serveur sans impliquer l'unité centrale. Cela libère les unités centrales pour qu'elles effectuent le travail pour lequel elles ont été conçues, comme l'exécution d'applications et le traitement de quantités massives de données. Les performances du réseau et de l'hôte, avec une latence plus faible, une charge d'unité centrale plus faible et une bande passante plus élevée, peuvent alors être obtenues de manière rentable.

La technologie RDMA est une combinaison parfaite de cartes réseau intelligentes et d'une architecture logicielle optimisée, offrant un support solide pour l'accès direct à grande vitesse à la mémoire distante. L'intégration du protocole RDMA dans le matériel (c'est-à-dire la carte réseau) et l'utilisation de techniques telles que la copie zéro et le contournement du noyau permettent d'obtenir un accès aux données à distance très performant.

Figure 1 : Technologie RDMA

Qu'est-ce que RoCE ?

En tant que type de RDMA, RoCE est un protocole réseau défini dans la norme IBTA (InfiniBand Trade Association), qui permet le RDMA sur un réseau Ethernet convergent. En bref, il peut être considéré comme l'application de la technologie RDMA dans les centres de données hyperconvergés, les nuages, le stockage et les environnements virtualisés. Il possède tous les avantages de la technologie RDMA et la familiarité d'Ethernet. Pour comprendre les différences entre RoCE et Infiniband, vous pouvez lire cet article RoCE vs Infiniband vs TCP/IP. L'encapsulation de IB (Infiniband) et de RoCE est comparée de la manière suivante :

Figure 2 : InfiniBand par rapport à RoCEv2

Types de RoCE

Il existe deux versions de la technologie RDMA over Converged Ethernet (RoCE), RoCE v1 et RoCE v2, en fonction de la carte ou de l'adaptateur réseau utilisé.

• RoCE v1 : Le protocole RoCE v1 est un protocole de couche de liaison Ethernet permettant à deux hôtes du même domaine de diffusion Ethernet (VLAN) de communiquer. Il utilise l'Ethertype 0x8915, qui limite la longueur de la trame à 1500 octets pour une trame Ethernet standard et à 9000 octets pour une trame Ethernet jumbo.

• RoCE v2 : Le protocole RoCE v2 surmonte la limitation de la version 1 à un seul domaine de diffusion (VLAN). En modifiant l'encapsulation des paquets pour inclure les en-têtes IP et UDP, RoCE v2 peut désormais être utilisé sur les réseaux L2 et L3. Cela permet le routage de la couche 3, qui apporte RDMA aux réseaux avec plusieurs sous-réseaux pour une grande évolutivité. C'est pourquoi RoCE v2 est également considéré comme RoCE routable (RRoCE). Grâce à l'arrivée de RoCE v2, la multidiffusion IP est désormais possible.

Figure 3 : Format de Paquet RoCE v1 Vs. RoCE v2

Avantages de RoCE

Étant donné que le RDMA sur Ethernet Convergé a un accès direct aux données de la mémoire via l'interface réseau plutôt qu'à travers le noyau, il peut permettre une transmission à faible latence et à haute performance.

• Implication réduite de l'unité centrale : Accès à la mémoire du switch ou du serveur distant sans consommer de cycles d'unité centrale sur le serveur distant, ce qui permet d'utiliser pleinement la bande passante disponible et d'améliorer l'évolutivité.

• Zero-copy : Envoi et réception de données vers et depuis des tampons distants.

• Haute productivité : La latence et le débit ayant été améliorés par la technologie RoCE, les performances du réseau sont nettement supérieures.

• Réduction des coûts : Avec RoCE, il n'est pas nécessaire d'acheter de nouveaux équipements ou de remplacer l'infrastructure Ethernet pour traiter la quantité massive de données, ce qui permet aux entreprises de réduire considérablement leurs dépenses d'investissement.

Limitations de RoCE

En raison des goulets d'étranglement des réseaux Ethernet traditionnels, les applications RoCE générales souffrent encore de pertes de performances telles que les congestions, la perte de paquets et la gigue de latence dans les activités à haute performance.

• Congestion : Dans les scénarios de multidiffusion, les files d'attente peuvent être encombrées, avec une latence qui ne peut être ignorée.

• Perte de paquets : Par rapport à la technologie FC, l'Ethernet traditionnel est sujet à la congestion et à la perte de paquets, la réexpédition des paquets perdus entraînant facilement un désordre dans les données.

• Gigue de latence : Le réseau Ethernet subit de grandes quantités de gigue, et son mode de stockage et de transmission entraîne des processus de recherche complexes et une latence de transmission élevée.

Figure 4 : Avant et Après l'Utilisation de RoCE

Comment Exploiter RoCE?

Pour réaliser RDMA sur Ethernet Convergé dans un centre de données, vous devez installer un adaptateur réseau ou des pilotes de cartes prenant en charge RoCE. Toutes les cartes d'interface réseau Ethernet nécessitent des cartes d'adaptateur réseau RoCE. Les pilotes RoCE sont disponibles sur Red Hat, Linux, Microsoft Windows et d'autres systèmes d'exploitation courants. RDMA sur Ethernet Convergé est disponible de deux manières. Pour les switchs de réseau, vous pouvez choisir d'utiliser le switch avec un système d'exploitation prenant en charge le PFC (contrôle de flux prioritaire). Dans le cas d'un serveur en rack ou d'un hôte, vous devrez utiliser une carte d'adaptateur réseau, telle que ConnectX-3 pro et ConnectX-4 et plus.

''Consultez Également- Serveurs de Réseau & Switchs de Réseau

Questions Fréquentes à propos de RoCE

Nous abordons ici quelques questions fréquemment posées au sujet de RDMA sur Ethernet Convergé, afin que vous puissiez mieux comprendre cette technologie.

1. Quels sont les switchs ou cartes/adaptateurs réseau de FS qui prennent en charge RoCE ?

Jusqu'à présent, à l'exception de la série S5860 et des switchs S5850-24S2Q, S5850-24S2Q-DC, les switchs de la série FS N et de la série S58/80 prennent tous en charge RoCE v1 et v2. Les utilisateurs doivent activer leur fonction PFC après avoir acquis un switch RDMA. FS fournit également des adaptateurs Ethernet NVIDIA qui prennent en charge RoCE.

2. Est-ce que les adaptateurs RoCE peuvent communiquer avec d'autres types d'adaptateurs, comme l'iWARP ?

Les adaptateurs RoCE ne peuvent communiquer qu'avec d'autres adaptateurs RDMA over Converged Ethernet (RoCE). Toutes les configurations qui tentent de mélanger les types d'adaptateurs, par exemple des adaptateurs RoCE combinés à des adaptateurs iWARP, seront probablement rétablies à des connexions TCP/IP traditionnelles.

3. Quelle est la différence entre RoCE et iWARP ?

Tout comme le protocole de réseau RoCE, iWARP (Internet wide area RDMA protocol) prend également en charge la fonction RDMA avec une latence plus faible, mais il existe quelques différences entre les deux.

D'une part, RoCE est la seule solution RDMA basée sur Ethernet qui soit normalisée par l'industrie, avec un écosystème multifournisseur fournissant des adaptateurs de réseau et fonctionnant sur des switchs Ethernet de couche 2 et de couche 3 standard. D'autre part, iWARP n'a bénéficié que d'un support minimal.

D'autre part, iWARP utilise une combinaison complexe de couches, y compris DDP (Direct Data Placement), une modification connue sous le nom de MPA (Marker PDU Aligned framing), et un protocole RDMA séparé (RDMAP) pour fournir des services RDMA sur TCP/IP. Avec une architecture aussi complexe, il sera difficile pour le protocole iWARP d'appliquer RDMA aux cadres de transport logiciel existants. Après un tel compromis, le débit, la latence et l'utilisation de l'unité centrale de l'iWARP seront réduits.

Figure 5: iWARP's Complex Network Layers Vs. RoCE’s Simpler Model

Conclusion

L'utilisation de RDMA dans les centres de données permet de décharger le transfert de données et d'augmenter la disponibilité des ressources de l'unité centrale pour les applications. Les utilisateurs qui adoptent la technologie RoCE peuvent bénéficier des capacités de RDMA sans modifier leur infrastructure de réseau. En réduisant la latence du réseau Ethernet et en déchargeant l'unité centrale, RoCE augmente les performances des applications de recherche, de stockage, de base de données et à taux de transfert élevé. En augmentant l'efficacité de l'unité centrale et en améliorant les performances des applications, RoCE peut réduire le nombre de serveurs nécessaires, ce qui permet de réaliser des économies d'énergie et de réduire la consommation énergétique des centres de données basés sur Ethernet.