RDMA over Converged Ethernet（RoCE）ガイド

データの時代において、より高速で、より効率的で、スケーラブルなネットワークへの要求は決して低下していません。従来のTCP/IPイーサネット接続はCPUに負荷がかかり、データの余分な処理とコピーが必要なため、現在のネットワークニーズに対応できなくなっています。そんな中、RDMA over Converged Ethernet（RoCE）が登場しました。RoCEとは何かを理解するために、まずRDMAについて見ておきましょう。

RDMAとは?

リモート・ダイレクト・メモリー・アクセス（RDMA）とは、CPUを介さずに、あるホストやサーバーのメモリから別のホストやサーバーのメモリに直接メモリ・アクセスを可能にする技術です。そのため、CPUはアプリケーションの実行や大量のデータ処理など、本来の作業に専念することができます。そして、より低いレイテンシ、より低いCPU負荷、より高い帯域幅を持つネットワークとホストのパフォーマンスをコスト効率よく実現することができます。

図1: RDMAテクノロジー

RoCEとは?

RDMAの一種として、RoCEはInfiniBand Trade Association (IBTA)標準に定義されたネットワーク・プロトコルであり、コンバージド・イーサネット・ネットワーク上でRDMAを可能にします。簡単に言えば、ハイパーコンバージド・データセンター、クラウド、ストレージ、仮想化環境におけるRDMA技術の応用とみなすことができます。RDMA技術のすべての利点とイーサネットの使いやすさをすべて備えています。RoCEとInfinibandの違いを理解するには、この記事「RoCE vs Infiniband vs TCP/IP」をお読みください。 また、IBとRoCEのカプセル化は次のように比較されます：

図2: InfiniBand Vs. RoCEv2

RoCEの種類

一般に、RDMA over Converged Ethernetには、RoCE v1とRoCE v2の2つのバージョンがあります。使用するネットワークアダプタまたはカードによって異なります。

• RoCE v1: RoCE v1プロトコルは、同じイーサネット・ブロードキャスト・ドメイン（VLAN）内の2つのホストが通信できるようにするイーサネットリンク層プロトコルです。これはEthertype 0x8915を使用し、フレーム長は標準イーサネットフレームで1500バイト、イーサネットジャンボフレームで9000バイトに制限されます。

• RoCE v2: RoCE v2プロトコルは、単一のブロードキャスト・ドメイン（VLAN）に制限されているバージョン1の制限を克服します。パケットのカプセル化をIPとUDPヘッダを含むように変更することで、RoCE v2はL2とL3の両方のネットワークで使用できるようになりました。これにより、レイヤ3ルーティングが可能になり、複数のサブネットを持つネットワークにRDMAを導入し、優れたスケーラビリティを実現します。そのため、RoCE v2はRoutable RoCE（RRoCE）とも呼ばれています。RoCE v2の登場により、IPマルチキャストも可能になりました。

図3: RoCE v1 Vs. RoCE v2 パケットフォーマット

RoCEの利点

RDMA over Converged Ethernetは、カーネル経由ではなくネットワーク・インターフェイス経由でメモリ・データに直接アクセスするため、低レイテンシーで高性能な伝送が可能になります。

• CPUの関与が低い: リモートサーバーのCPUサイクルを消費せずにリモートスイッチまたはサーバーのメモリにアクセスできるため、利用可能な帯域幅を最大限に活用し、拡張性を高めることができます。

• ゼロコピー: リモートバッファとの間でデータを送受信します。

• 高生産性: RoCEによって遅延とスループットが改善されたため、ネットワークパフォーマンスが大幅に向上しました。

• コスト削減: RoCEでは、大量のデータを処理するために新しい機器を購入したり、イーサネット・インフラを交換したりする必要がないため、企業の設備投資を大幅に節約できます。

図4: RoCE導入前 Vs. 導入後

RoCEの実現方法とは？

一般に、データセンターでコンバージドイーサネット上のRDMAを実現するには、RoCEをサポートするネットワークアダプタやカードドライバをインストールします。すべてのイーサネットNICにはRoCEネットワークアダプタカードが必要です。RoCEドライバは、Red Hat、Linux、Microsoft Windows、その他の一般的なオペレーティングシステム（OS）で利用可能です。コンバージド・イーサネット上のRDMAは2つの方法で利用できます。ネットワークスイッチの場合、PFC（優先フロー制御）をサポートするオペレーティングシステム（OS）でスイッチを使用することができます。ラックサーバーやホストの場合は、ConnectX-3 proやConnectX-4以上のネットワークアダプタカードを使用する必要があります。

「こちらもチェック- ネットワークサーバー & ネットワークスイッチ」

RoCEに関するよくある質問

ここでは、RDMA over converged Ethernet（RoCE）についてよりよく理解しているために、よくある質問を挙げています。

1. RoCEをサポートしているFSスイッチやネットワークカード/アダプタは？

これまで、S5860シリーズとS5850-24S2Q、S5850-24S2Q-DCを除き、FS Nシリーズスイッチ とS58/80シリーズはRoCE v1とv2をサポートしています。お客様はRDMAスイッチを購入した後、PFC機能を有効にする必要があります。さらに、FSはRoCEをサポートするNVIDIAイーサネットアダプタも提供できます。

2. RoCEアダプタは、iWARPのような他のタイプのアダプタと通信できますか？

RoCEアダプタは他のRDMA over converged Ethernetアダプタとしか通信できません。RoCEアダプタとiWARPアダプタを組み合わせるなど、アダプタの種類を混ぜようとする構成は、おそらく従来のTCP/IP接続に戻るでしょう。

3. RoCEとiWARPの違いは何ですか?

RoCEネットワークプロトコルとして、iWARP（インターネット広域RDMAプロトコル）も、より低レイテンシーでRDMA機能をサポートしているが、両者にはいくつかの違いがあります。

一方では、RoCEは業界標準のイーサネットベースのRDMAソリューションであり、マルチベンダーのエコシステムがネットワークアダプタを提供し、標準的なレイヤー2およびレイヤー3イーサネットスイッチ上で動作する唯一のソリューションです。そして、iWARPは最小限のサポートしか受けていません。

もう一方、iWARPは、TCP/IP上でRDMAサービスを提供するために、DDP（Direct Data Placement）、MPA（Marker PDU Aligned framing）として知られる微調整、および個別のRDMAプロトコル（RDMAP）を含む、複雑なレイヤーの組み合わせを使用しています。このような複雑なアーキテクチャでは、iWARPプロトコルが既存のソフトウェア・トランスポート・フレームワークにRDMAを適用するのは難しいです。このような妥協が行われると、iWARPのスループット、遅延、CPU使用率が低下します。

図5: iWARPの複雑なネットワーク層 Vs. RoCEのよりシンプルなモデル

結論

データセンターでRDMAを実行することで、データ移動のオフロードとアプリケーションへのCPUリソースの高い可用性を実現できます。RoCEの採用者は、ネットワークインフラを変更することなく、RDMAの機能の恩恵を受けることができます。RoCEは、イーサネットネットワークのレイテンシーを短縮し、CPUオーバーヘッドをオフロードすることで、検索、ストレージ、データベース、金融、高トランザクションレートのアプリケーションのパフォーマンスを向上させます。CPUの効率を高め、アプリケーションのパフォーマンスを向上させることで、RoCEは必要なサーバーの台数を減らし、省エネを実現し、イーサネットベースのデータセンターのフットプリントを削減します。