Infiniband 技術に関するQ&A

ビッグデータや人工知能技術の進歩に伴い、高性能コンピューティングに対する需要は常に高まっています。この需要に応えるため、NVIDIA Quantum-2 InfiniBandプラットフォームは、高速かつ低遅延のデータ伝送と処理能力を可能にし、ユーザーに卓越した分散コンピューティング性能を提供します。

以下、IB技術に関するよくあるQ&Aを挙げていきます。

Q：CX7 NDR200 QSFP112ポートは、HDR/EDRケーブルと互換性がありますか？

A：はい、互換性があります。

Q：CX7 NDRネットワークカードをQuantum-2 QM97XXシリーズスイッチに接続する方法は？

A：CX7 NDRネットワークカードは、NVIDIAの400GBASE-SR4または400GBASE-DR4光モジュールを使用し、QM97XXシリーズスイッチは、800GBASE-SR8（2x400GBASE-SR4相当）または800GBASE-DR8（2x400GBASE-DR4相当）光モジュールを使用します。これらのモジュールは、12芯マルチモードユニバーサル極性APC端面パッチコードを使用して接続します。

Q：CX7デュアルポート400Gは、ボンディングにより800Gを実現できますか？なぜ200Gで400Gを実現できるのか？

A：ネットワーク全体のパフォーマンスは、PCIe帯域幅のボトルネック、ネットワークカードの処理能力、物理的なネットワークポートの帯域幅などの要因によって決まります。CX7ネットワークカードのPCIe仕様は5.0 x16で、理論上の帯域幅制限は512Gbpsです。PCIe 5.0 x16の最大帯域幅の制限により、CX7ネットワークカードではデュアルポート400Gのハードウェアは使用できません。

Q：1対2のケーブルの接続方法は？

A：最適なパフォーマンスを得るには、1対2のケーブル（800Gから2X 400G）を2つの異なるサーバーに接続する必要があります。通常、GPUサーバーには複数のネットワークカードが搭載されているため、分岐ケーブルがイーサネットサーバーのネットワークカードに完全に接続されないようになります。

Q：InfiniBandのNDRシナリオでは、1対2のケーブルはどのように接続されるのですか？

A：InfiniBand NDR のシナリオでは、1対2ケーブルには2つのタイプがあります。一つ目のタイプは、MMS4X00-NS400 + MFP7E20-NXXX + MMS4X00-NS400（200G用にダウングレード）など、1対2のパッチコード（400Gを2x200Gに分割）と光モジュールを使用します。2つ目のタイプは、MCP7Y00-NXXXやMCP7Y10-NXXXなど、1対2のDACカッパーケーブル（800Gを2x400Gに分割）を使用します。

Q：Superpod ネットワークでは、各サーバー上の 4 枚の NDR200 カードを 1x 4 ケーブルで同じスイッチに直接接続できますか、それとも2本の 1x 2 ケーブルを使用して異なるスイッチに接続する必要がありますか？

A：Superpod ネットワークでは、各サーバーの 4 つの NDR200 ポートを 1 対 4 ケーブルで同じスイッチに接続することは推奨されません。この接続方法は Super Pod ネットワークルールに準拠していません。NCCL/SHARP の最適なパフォーマンスを確保するため、リーフスイッチは 1 対 4 ケーブルを使用して、異なるサーバの NDR200 ポートを特定のパターンで接続する必要があります。

Q：最新のSuperpodネットワークについては、Superpodネットワーク・ホワイトペーパーに記載されているように、コンピューティング・ネットワークにUFMソフトウェアを搭載した2台のIBスイッチを別々に構成する必要があります。しかし、この構成ではクラスタのGPUノードが1つ少なくなってしまいます。別のUFMスイッチを設定せず、管理ノードのみにUFMソフトウェアを導入した場合、コンピューティングネットワークに影響を与えることなく、別のストレージネットワークでクラスタを管理できますか？

A：ソフトウェアを含む UFM 機器を構成することを推奨します。コンピューティングネットワーク内の管理ノードに UFM ソフトウェアをデプロイすることは代替ソリュー ションですが、GPU コンピューティングのワークロードを負担するべきではありません。ストレージネットワークは別個のネットワークプレーンとして独立して動作するため、コンピューティングクラスターの管理に使用することはできません。

Q：UFM エンタープライズ、SDN、テレメトリ、サイバーアルの違いは何ですか？UFMを購入する必要はありますか？

A：OFEDに含まれるopensmやコマンドスクリプトツールを使って簡単な管理や監視を行うことは可能ですが、UFMに適したグラフィカルユーザインタフェースや多くの機能がありません。

Q：スイッチ、OFED、UFMで必要なサブネットマネージャの数に違いはありますか？お客様の導入にはどちらが適していますか？

A：スイッチ管理は、最大2Kノードまでのネットワークに適しています。UFMとOFEDのopenSMノード管理機能は無制限ですが、管理ノードのCPUとハードウェア処理能力との調整が必要です。

Q：64個の400Gbポートを持つスイッチに32個のOSFPポートがあるのはなぜですか？

A：この制約は、2Uパネルのサイズと消費電力の制限にあり、32個のケージしか収容できません。この構成は、2つの400GポートをサポートするOSFPインターフェイス用に設計されています。NDRスイッチでは、ケージとポートの概念を区別することが重要である。

Q：異なるインターフェイスを持つ2つのモジュールをケーブルで接続してデータを伝送することは可能ですか？例えば、サーバーのOSFPポートとスイッチのQSFP112ポートをケーブルで接続することは可能ですか？

A：モジュールの相互接続はパッケージングに依存しません。OSFP と QSFP112 は、主にモジュールの物理的なサイズを表します。イーサネット・メディア・タイプが同じであれば（リンクの両端が400G-DR4または400G-FR4など）、OSFPモジュールとQSFP112モジュールは相互に互換性があります。

Q：UFMはRoCEネットワークの監視に使えますか？

A：いいえ、UFMはInfiniBandネットワークしかサポートしていません。

Q：UFMの機能は、マネージド・スイッチとアンマネージド・スイッチで同じですか？

A：はい、機能は変わりません。

Q：伝送帯域幅とレイテンシーに影響を与えずに、IBケーブルがサポートする最大伝送距離は？

A：光モジュール＋ジャンパーは約500m、パッシブDACケーブルは約3m、アクティブACCケーブルは5mまで到達可能です。

Q：CX7ネットワークカードは、イーサネットモードでRDMAをサポートする他の400Gイーサネットスイッチに接続できますか？

A：400Gイーサネット接続の確立は可能であり、RDMA(RoCE)はこの状況下でも動作可能ですが、性能は保証されません。400Gイーサネットでは、BF3+Spectrum-4 で構成される Spectrum-X プラットフォームの使用を推奨します。

Q：NDRがHDRやEDRと互換性がある場合、これらのケーブルやモジュールは一体型しかないのでしょうか？

A：HDRまたはEDRとの互換性を確保するために、通常OSFP-2xQSFP56 DAC/AOCケーブルが使用されます。

Q：OSFPネットワークカード側のモジュールはフラットモジュールであるべきですか？

A：ネットワークカードにはヒートシンクが付属しているので、ファットモジュールをそのまま使用することが可能です。フィン付きモジュールは主に液冷スイッチ側に採用されています。

Q：IBネットワークカードはイーサネットモードでRDMAをサポートしていますか？

A：RDMA over Ethernet（RoCE）を有効にすることができ、Nvidia Spectrum-Xソリューションの使用を推奨します。

Q：NDRのAOCがないのはなぜですか？

A：OSFPモジュールは大きくて重いため、光ファイバーはダメージを受けやすい傾向があります。2分岐ケーブルなら3つの大きなトランシーバー端があり、4分岐ケーブルなら5つのトランシーバーがあるのです。このため、特に30メートルのAOCでは、敷設中にファイバーが破損するリスクが高まるわけです。

Q：光モジュールの違いを除けば、400G IBと400Gイーサネットのケーブルは同じですか？

A：光ケーブルも同じだが、端面は8度の角度に研磨されているAPCタイプであることに注意する必要があります。

Q：CX7ネットワークカードのレイテンシ性能に特定の要件はありますか？フルメモリやバインドコアなど、最適なデバッグ環境下でのネットワークレイテンシ要件は？許容可能なレイテンシ値とは、例えば何マイクロ秒以下ですか？

A：レイテンシ性能は、テストマシンの周波数や構成、perftestやMPIなどのテストツールに依存します。

Q：OSFPネットワークカード側のモジュールはOSFPフラットモジュールであるべきですか？なぜOSFP-Riding Heatsinkという記述があるのですか？

A：「Riding Heatsink（ライディング・ヒートシンク）」とは、ケージに組み込まれたヒートシンクのことです。

Q：UFMはこのクラスターソリューションのどこに位置づけられるのか？その役割を理解したいと思います。

A：UFMはサーバー上で個別に動作し、ノードとして扱うことができます。2台のサーバを使用した高可用性をサポートします。ただし、計算ワークロードも処理するノードでUFMを実行することは推奨されません。

Q：UFMはどの規模のネットワーク・クラスターに適していますか？

A：UFMはOpenSubnet Manager (openSM)だけでなく、その他の強力な管理機能やインターフェイス機能を提供するため、すべてのInfiniBandネットワークにUFMを設定することをお勧めします。

Q：PCIe 5は512Gまでしかサポートしないのですか？PCIe 4はサポートされないのですか？

A：PCIe Gen5は最大32G x 16レーンを提供し、最大帯域幅は512Gとなります。一方、PCIe Gen4は最大16G x 16レーンを提供し、最大帯域幅は256Gとなります。

IBネットワークカードはシンプレックスモードとデュプレックスモードのどちらをサポートしていますか？

A：IBネットワークカードはすべてデュプレックスです。データを送受信する物理的なチャンネルはすでに分離されているため、シンプレックスかデュプレックスかは現在のデバイスの概念にすぎません。

Q：FSはIBネットワーククラスタ構築のための技術サポートと高品質な製品を提供できますか？

A：もちろん、FSはハイパフォーマンス・コンピューティングとデータセンター・ソリューションの提供を専門としています。IBネットワーク・クラスタ構築の豊富な経験と専門知識を持っており、さまざまな顧客のニーズに応えるため、さまざまなハードウェア接続ソリューションを提供しています。

FSのInfiniBandソリューションには、800G、400G、200G、100G、56/40Gの速度を持つAOC/DACケーブルとモジュール、NVIDIA InfiniBandアダプタ、NVIDIA InfiniBandスイッチが含まれます。IBネットワーク・クラスタ・ソリューションでは、FSの専門チームがお客様のニーズとネットワーク規模に基づいて適切なハードウェア接続ソリューションを提供し、ネットワークの安定性と高いパフォーマンスを確保します。

より詳しい情報とサポートについては、FS.COMをご覧ください。