HPCクラスタ向けInfiniBandネットワーキングの革新

2024年05月15日 FS Oficial より投稿

 65

High-performance computing（HPC）クラスタは、科学研究、シミュレーション、データ分析における膨大なデータ処理要求に対応するため、堅牢なネットワーキングソリューションを必要とします。InfiniBandテクノロジーは、比類のない高速ネットワーキング機能を提供する強力なソリューションとして登場しました。この記事では、HPCクラスタの真のパワーを引き出すInfiniBandの可能性を探り、FSが提供するInfiniBand製品を紹介します。

InfiniBandを理解する

InfiniBandの重要な側面の1つは、物理層における多様なリンクレートです。各リンクは4線シリアル差動接続（各方向2線）で構成されています。

Link rate

シングル・データレート（SDR）、ダブル・データレート（DDR）、クワッド・データレート（QDR）などのリンクレートは、生の信号帯域幅とデータ帯域幅をさまざまなレベルで提供します。時間の経過とともに、InfiniBandのネットワーク帯域幅は大幅に進化し、より高速で効率的なリンクレートを導入してきました。最新のNext Data Rate（NDR）は、驚異的な100Gb/秒（4Xリンクレートでは400Gb/秒）を提供します。次の図は、InfiniBandのネットワーク帯域幅の進化を、4Xリンクレートを基準とした速度で示したものです。

progression of InfiniBand's network bandwidth

InfiniBandネットワークトポロジー：ファットツリー

InfiniBandネットワーキングは、コンピュートノード間のロスレス通信を実現するために、ファットツリートポロジーと呼ばれるコスト集約型のアプローチを採用しています。このトポロジーは、下図（四角はスイッチ、楕円はコンピュートノードを表す）に示すように、トラフィックの転送に特化したコア層と、コンピュートノード間を接続するアクセス層の2層で構成されます。

Fat Tree

ファットツリーをInfiniBandネットワークに実装するには、高いコストがかかります。例えば、コンバージェンススイッチが36ポートの場合、その半分（18ポート）をコンピュートノードに接続し、残りの半分を上位レイヤのコア・スイッチに接続する必要があります。

HPCクラスタでInfiniBandのパワーを解き放つ

1. 帯域幅の向上：InfiniBandは、より高速なデータ転送を可能にする高い帯域幅を提供し、HPCクラスタにおけるシステムパフォーマンスの向上と処理時間の短縮を実現します。
2. レイテンシの改善：IBは通信遅延を最小化し、時間に敏感なアプリケーションでノード間のリアルタイムなやり取りを可能にします。
3. 拡張性の向上：InfiniBandの拡張性は、HPCクラスタの拡張をサポートし、より大きなデータセットと増大するワークロードを処理し、並列処理と分散コンピューティングを促進します。
4. 効率性の向上：IBはデータ転送と通信プロトコルを最適化することで、ネットワークリソースの利用率を最大化し、システム全体の効率とアプリケーションのパフォーマンスを向上させます。

FS InfiniBand製品一覧

FSオリジナルのIB製品をご紹介します。

InfiniBand product

InfiniBandケーブルとモジュール

InfiniBandネットワークでは、従来のイーサネットや光ファイバケーブルとは異なり、接続シナリオに応じた専用ケーブルが使用されています。これらのケーブルには、DACケーブル（Direct Attach Copper）、AOCケーブル（Active Optical Cables）、光モジュールが含まれます。

FSは、56G FDRスピードから800G NDRスピードまでのInfiniBandケーブルとモジュールを提供できます。お客様の機器の速度要件に合わせて注文できます。機器が互換性があるかどうかにご注意ください。

InfiniBandアダプタ

InfiniBandアダプタは、HPC（high-performance computing）に最適化され、データセンター接続に低レイテンシーと高スループットを提供します。イーサネットよりも大幅に高いスループット率を実現し、コンピュータのPCI ExpressバスをInfiniBandネットワークに接続することで、InfiniBandファブリック内の他のノードとの通信を可能にします。

InfiniBandスイッチ

NVIDIAは、その知識と技術力に基づき、強力なInfiniBandスイッチを提供しています。ルーティング、転送、データフロー管理などの基本機能を備えたInfiniBandスイッチは、効率的なデータ伝送と通信を可能にします。

結論

InfiniBandの高速ネットワーキングソリューションは、HPCクラスタの運用方法に革命をもたらしています。その卓越した帯域幅と低レイテンシーにより、組織はHPCの能力をフルに活用し、より高速な処理、シームレスなデータ転送、全体的なパフォーマンスの向上を実現することができます。HPCが産業を再構築し続ける中、InfiniBandは最前線に立ち、イノベーションを推進し、HPCクラスタ向けの高性能ネットワーキングの展望を一変させます。