InfiniBand vs. RoCE：データセンターのネットワークを選択する方法

近年、HPCは大きな進歩を遂げており、自然言語処理、コンピュータビジョン、自動運転車、仮想アシスタント、レコメンドシステム、医療診断など、さまざまなアプリケーションに活用されています。HPCの応用が進むにつれて、データセンターでは低レイテンシーで高帯域幅のネットワークへのエスカレートする需要があり、複雑なワークロードを効率的に処理することが求められています。

InfiniBandネットワークの概要

InfiniBandネットワークは、InfiniBandアダプタまたはスイッチを介してデータ転送を容易にします。主要なコンポーネントには、サブネットマネージャ（SM）、InfiniBandネットワークカード、InfiniBandスイッチ、およびInfiniBandケーブルが含まれます。

NVIDIAは、急速に進化している200Gbps HDRや商用展開された400Gbps NDRカードを含む、さまざまなInfiniBandネットワークカードをサポートする主要な製造業者です。以下の図は、よく使用されるInfiniBandネットワークカードを示しています。

InfiniBandスイッチはルーティングプロトコルを実行せず、全体のネットワークの転送テーブルは中央集権化されたサブネットマネージャによって計算され、配布されます。転送テーブルに加えて、サブネットマネージャはInfiniBandサブネット内のパーティショニングやQuality of Service（QoS）など、InfiniBandサブネット内の設定を担当します。InfiniBandネットワークでは、スイッチ間やスイッチとネットワークカード間の接続には専用のケーブルと光モジュールが必要です。

2022年以来、FSはNVIDIAのエリートパートナーとなりました。私たちはInfiniBandのロスレスネットワークソリューションに基づいた完全なセットのオリジナル製品を提供できます。FSのInfinibandスイッチは、16Tb/sの集約スイッチスループットと130ns未満のスイッチレイテンシーを処理できます。FSのInfinibandアダプタは、NDR、NDR200、HDR、HDR100、EDR、FDR、およびSDRのInfiniBandスピードをサポートしています。また、FSのIBトランシーバーは、0.5mから2kmの距離の接続要件を満たし、無料の技術サポートも提供しています。優れた顧客サービスとコストと複雑さを削減しながら優れたパフォーマンスを提供する製品により、FSはサーバークラスターにおける選択肢として最適な選択肢です。

InfiniBandネットワークソリューションの特徴

ネイティブロスレスネットワーク

InfiniBandネットワークでは、クレジットベースのシグナリングメカニズムを使用して、バッファオーバーフローやパケットロスを防止しています。パケットの送信を開始する前に、送信側は受信側が対応するパケット数を収容するために十分なクレジットを持っていることを確認します。InfiniBandネットワークの各リンクには、事前に定義されたバッファが装備されています。送信側からのデータ伝送は、受信側の利用可能なバッファサイズに制約されます。転送が完了すると、受信側はバッファを解放し、現在の利用可能なバッファサイズを一貫して更新し、送信側に送信します。このリンクレベルのフロー制御メカニズムにより、送信側が過剰なデータでネットワークを圧倒することはなく、効果的にバッファオーバーフローやパケットロスを回避することが保証されます。

ネットワークカード拡張機能

InfiniBandのアダプティブルーティングは、パケットごとの動的ルーティングに依存し、広範な展開において最適なネットワーク利用を保証します。InfiniBandネットワークにおける大規模なGPUクラスターの注目すべき事例には、Baidu AI CloudやMicrosoft Azureなどがあります。

現在、市場ではいくつかの主要なプロバイダーがInfiniBandネットワークソリューションと関連機器を提供しています。NVIDIAは70%を超える市場シェアを持ち、このセクターを支配しています。その他の重要なサプライヤーには次のようなものがあります:

• Intel Corporation: さまざまなInfiniBandネットワーク製品とソリューションを提供します。

• Cisco Systems: InfiniBandスイッチおよび関連製品を提供する有名なネットワーク機器メーカーです。

• Hewlett Packard Enterprise (HPE): アダプタ、スイッチ、サーバーなどのさまざまなInfiniBandネットワークソリューションを提供する著名なIT企業。

これらのプロバイダーは、多様なユーザー要件に合わせた製品とソリューションを提供し、さまざまな規模やアプリケーション シナリオにわたるInfiniBandネットワーク導入をサポートします。

RoCE v2ネットワークの概要

InfiniBandネットワークは、サブネットマネージャ（SM）を備えた中央管理システムに依存していますが、RoCE v2ネットワークは完全に分散型のネットワークとして動作し、通常は2層アーキテクチャで構成されたRoCEv2対応のNICとスイッチで構成されています。

さまざまなメーカーがRoCE対応のネットワークカードを提供しており、主要なベンダーにはNVIDIA、Intel、Broadcomなどがあります。PCIeカードは、データセンターサーバーネットワークカードの主要な形態として使用されます。RDMAカードは一般に、50Gbpsから始まるポートPHY速度を備えており、現在の商用ネットワークカードでは、最大400Gbpsのシングルポート速度を実現することができます。

ほとんどのデータセンタースイッチは現在、RDMAフローコントロール技術をサポートしており、RoCE対応のネットワークカードと組み合わせることでエンドツーエンドのRDMA通信が容易になります。Cisco、Hewlett Packard Enterprise（HPE）、Aristaなどの主要なグローバルデータセンタースイッチベンダーは、大規模データセンターの要求に応えるために高性能で信頼性のあるデータセンタースイッチソリューションを提供しています。これらの企業は、ネットワーキング技術、パフォーマンス最適化、スケーラビリティにおける幅広い専門知識を持ち、世界中で広く認知され、採用されています。

高性能スイッチの中核は、それらが使用するフォワーディングチップにあります。現在の市場では、BroadcomのTomahawkシリーズのチップが商用のフォワーディングチップとして広く利用されています。その中でも、Tomahawk3シリーズのチップは現在のスイッチで広く使用されており、新しく登場したTomahawk4シリーズのチップをサポートするスイッチが徐々に増えています。

RoCE v2はイーサネット上で動作するため、従来のイーサネット光ファイバと光モジュールの両方を使用できます。

ROCE v2ネットワークソリューションの特徴

比較的低コストで高い汎用性を持つ点で、RoCEはInfiniBandと比較して利点を持っています。RoCEは高性能なRDMAネットワークの構築に使用されるだけでなく、従来のイーサネットネットワークでも利用されます。ただし、スイッチ上でHeadroom、PFC（優先度ベースのフローコントロール）、ECN（明示的な過負荷通知）などのパラメータを設定することは複雑さを引き起こす可能性があります。特に多数のネットワークカードを備えた広範な展開では、RoCEネットワークの全体的なスループット性能がInfiniBandネットワークと比較してわずかに低下する場合があります。

さまざまなスイッチベンダーがRoCEをサポートしており、現在、NVIDIAのConnectXシリーズのネットワークカードはRoCE互換性の点で相当な市場シェアを持っています。

InfiniBand vs. RoCE v2

技術的な観点から見ると、InfiniBandはさまざまな技術を取り入れて、ネットワークのフォワーディング性能を向上させ、障害回復時間を短縮し、スケーラビリティを向上させ、オペレーションの複雑さを簡素化しています。

実際のビジネスシナリオでは、RoCEv2が優れたソリューションとして機能しますが、InfiniBandは優れたソリューションとして際立っています。

企業の業績について: InfiniBandは、RoCEv2と比較してエンドツーエンドのレイテンシが低いため、アプリケーションレベルのビジネスパフォーマンスにおいて優位性を持っています。ただし、RoCEv2のパフォーマンスも、ほとんどのインテリジェントコンピューティングシナリオのビジネスパフォーマンス要件を満たすことができます。

事業規模について: InfiniBandは、数万枚のカードを持つGPUクラスターをサポートし、全体的なパフォーマンスを劣化させることなく維持することができます。産業界においても多数の商業利用事例があります。RoCEv2ネットワークは、数千枚のカードを持つクラスターをサポートし、全体的なネットワークパフォーマンスに大きな劣化がないまま運用することができます。

業務運営・保守について: InfiniBandはRoCEv2よりも成熟しており、マルチテナントの分離や運用診断機能などの機能を提供します。

事業費について: InfiniBandはRoCEv2よりもコストが高くなります。これは主に、イーサネットスイッチと比較してInfiniBandスイッチのコストが高いためです。

取引先について: NVIDIAはInfiniBandの主要サプライヤーですが、RoCEv2 には複数のサプライヤーがあります。

結論

まとめると、インテリジェントコンピューティングセンターの複雑なネットワーク技術選択プロセスにおいて、InfiniBandは優れたソリューションとして浮かび上がり、コンピューティング環境に大きな利点を提供します。

InfiniBandは、特に高性能コンピューティング環境において、一貫して優れたパフォーマンスと信頼性を発揮しています。InfiniBandの採用により、インテリジェントコンピューティングセンターは高帯域幅で低レイテンシのデータ伝送能力を開放し、より効率的な計算とデータ処理を促進することができます。これにより、優れたサービスとユーザーエクスペリエンスが提供されます。将来に向けて、インテリジェントコンピューティングセンターは、先進的なネットワーク技術の探求と採用を続け、常にコンピューティング能力を向上させ、科学研究とイノベーションを推進することが期待されています。