Infiniband入門

2023年のChatGPTに代表される大型モデルの急増により、InfiniBandテクノロジーへの注目度が大幅に高まっています。GPTモデルが使用するネットワークは、NVIDIAが開発したInfiniBandで構築されているためです。では、InfiniBandとは一体何なのですか？なぜ高く評価されているのでしょうか？この記事は、InfiniBandについて深く理解するのに役立ちます。

InfiniBandとは？その仕組は？

InfiniBandは、主にデータセンターや高性能計算（HPC）環境で使用される高速、低遅延の相互接続技術です。クラスタやデータセンター内のサーバ、ストレージデバイス、その他のネットワークリソースを接続するための高性能ファブリックを提供します。

InfiniBandは、物理層とデータリンク層をネットワーク層から分離した2層アーキテクチャを使用しています。物理層は、高帯域幅のシリアルリンクを使用して、デバイス間の直接ポイントツーポイント接続を提供します。対照的に、データリンク層はデバイス間のデータパケットの送受信を処理します。ネットワーク層は、仮想化、QoS（Quality of Service）、RDMA（Remote Direct Memory Access）など、InfiniBandの重要な機能を提供します。これらの機能により、InfiniBandは、低遅延と高帯域幅を必要とするHPCワークロードにとって強力なツールとなります。

InfiniBandのメリット

• 高速性と拡張性：InfiniBandは、スケーラビリティを備えた高速通信を提供します。IBTA規格は、2.5Gb/s（1倍速）と10Gb/s（4倍速）のシングルデータレート（SDR）信号をサポートし、最大30Gb/s（12倍速）に達します。InfiniBandのDDR（Double Data Rate）およびQDR（Quad Data Rate）シグナリングは、それぞれレーンあたり5Gb/秒および10Gb/秒への拡張を可能にし、12Xケーブルで最大120Gb/秒のデータレートを実現します。

• 低遅延：イーサネットの遅延は、データパケットのストリップダウンと再アセンブルが必要なため、通常20～80マイクロ秒です。対照的に、InfiniBandは低遅延を実現し、通常3～5マイクロ秒、メーカーによっては1～2マイクロ秒という低遅延を主張しています。InfiniBandの低遅延は、全体的なパフォーマンスとアプリケーションがデータにアクセスする速度に影響するため、クラスタ化されたコンピューティングアプリケーションにとって極めて重要です。InfiniBandは遅延を最小限に抑える機能を備えているため、金融取引データ センターなど、密結合リクエストの高速処理を必要とするアプリケーションに最適です。

• 低消費電力：InfiniBandテクノロジーは、ネットワーク管理者にとって重要な関心事である消費電力を削減するように設計されています。InfiniBandは、現在利用可能な10Gb/秒イーサネット技術と比較して、消費電力量がより少ないです。例えば、第一世代の10GBASE-SRや10GBASE-Tイーサネットのサーバアダプタカードは、InfiniBandのアダプタカード（銅線で3-4W、ファイバで1W）と比較して消費電力が高くなります（10-25W）。InfiniBandの消費電力の低減は、数百または数千のノードを持つクラスタ化されたデータセンターアーキテクチャにおいて特に有利となり、総運用コストの低減と環境に優しいデータセンター施設につながります。

InfiniBandの応用

現在、InfiniBandテクノロジーは、スーパーコンピュータ、ストレージシステム、データセンター、クラスタ、HPCの運用方法に革命をもたらしています。InfiniBandの高速データ転送機能は、様々な産業において重要なソリューションとなっています。その高速性、低遅延、拡張性により、要求の厳しいコンピューティング環境に最適です。

スーパーコンピューティングにおけるInfiniBand：世界最速のコンピュータを動かす

InfiniBandは、世界最速のスーパーコンピュータを支える原動力として、その比類ないパフォーマンスを保証しています。このテクノロジーは、驚異的なレベルの並列処理を可能にし、膨大なデータの同時処理を可能にします。高性能計算（HPC）システムの領域において、InfiniBandは、物理学、生物学、気象学などの多様な科学分野で応用され、中核を占めています。世界で最も高速なスーパーコンピュータを特定するウェブサイト「Top500」のランキングによると、InfiniBandテクノロジーは、トップ500にランクインしたシステムの70%以上を支えています。

高性能ストレージシステムにおけるInfiniBand

高性能ストレージシステムにおいて、InfiniBandテクノロジーは不可欠なコンポーネントとして重要な役割を果たします。その高速性能は、サーバーとストレージシステム間の高速データ通信を容易にします。著しく低いレイテンシと並外れた帯域幅は、膨大なデータリポジトリへの迅速なアクセスを必要とするデータ集約型アプリケーションに特に有利です。さらに、InfiniBandテクノロジーは、データベースアプリケーションにおけるストレージシステムのレイテンシを低減し、クエリ処理やトランザクション処理の高速化につながります。

データセンターとクラスタにおけるInfiniBand

データセンターやクラスタのダイナミックな環境において、InfiniBandテクノロジーはサーバやストレージシステムを含む様々なデバイスを相互接続します。InfiniBandの高速通信機能を利用することで、クラスタは統合されたエンティティとしてシームレスに動作し、並列コンピューティングに依存するアプリケーションのパフォーマンスを向上させることができます。さらに、InfiniBandは仮想化プラットフォームに信頼性と拡張性の高い相互接続を提供し、サーバーリソースの利用を最適化します。

HPCワークロードにおけるInfiniBand

InfiniBandのの優れた帯域幅と低遅延テクノロジーは、HPCワークロードにおいて極めて重要な役割を果たしています。膨大なデータ量の同時処理を可能にし、科学研究アプリケーションのパフォーマンスを向上させます。InfiniBandはまた、金融モデリング、石油・ガス探査、その他のデータ集約的タスクなど、要求の厳しいワークロードにも応用できます。

InfiniBand Q&A

Q：InfiniBandはイーサネットのような他のネットワーク技術と比較してどうですか？

A：InfiniBandは、一般的に標準的なイーサネットと比較して、より高速なデータ転送と低レイテンシーを実現します。特に高性能計算やメモリへの直接アクセスを必要とするアプリケーションに適しています。

Q：RDMAとは何ですか？

A：RDMAはRemote Direct Memory Accessの略で、CPUを介さずに2台のコンピュータのメモリ間で直接データ転送を可能にする技術です。InfinibandはRDMAをサポートしており、高速で効率的なデータ転送を実現します。

おすすめ記事：RDMA over Converged Ethernet（RoCE）ガイド

Q：Infinibandはどのようにデータを転送するのですか？

A：Infinibandはデータ転送にRDMAプロトコルを利用します。RDMAでは、CPUを介さずにマシン間で直接メモリにアクセスできます。これにより、最小限のレイテンシで高速かつ効率的なデータ転送が可能になります。

Q：IBTA (InfiniBand Trade Association)とは何ですか？

A：IBTAは、InfiniBand技術の開発と普及を行う業界コンソーシアムです。会員企業と共に、InfiniBandの業界標準を定義および維持しています。

Q：InfiniBandテクノロジーにはどのような世代がありますか？

A：InfiniBandには、QDR(Quad Data Rate)、FDR(Fourteen Data Rate)、EDR(Enhanced Data Rate)、HDR(High Data Rate)などの世代があります。世代ごとに帯域幅とパフォーマンスが向上します。

Q：InfiniBand技術のこの先は？

A：InfiniBandは、帯域幅、遅延、拡張性の進歩により進化し続けています。InfiniBandは、ハイパフォーマンスコンピューティング、データセンター、その他の要求の厳しいアプリケーションにおいて、今後も重要な技術であり続けると予想されます。

InfiniBand製品を探る

より高速なデータ転送速度へのニーズが高まる中、InfiniBandネットワークシステムはデータセンターの理想的なソリューションとして人気を集めています。InfiniBandは高速接続を提供するため、最小限のレイテンシと優れたスループットを必要とするアプリケーションに最適です。

NVIDIA InfiniBandスイッチ

InfiniBandネットワークシステムにおいて重要なコンポーネントはスイッチであり、接続されたデバイス間でデータを転送する役割を果たします。これらのスイッチは、ネットワークの物理層で動作し、達成可能な最高速度でのデータ伝送を保証します。FSは、データセンター向けに130ns以下のレイテンシとの広帯域幅を備えたHDR 200Gb/sとNDR 400Gb/sのNVIDIA InfiniBandスイッチを提供しています。

NVIDIA InfiniBandモジュールとケーブル

InfiniBandネットワークのバックボーンはモジュールとケーブルに依存しており、デバイス間の高速データ転送を促進します。これらのケーブルは、短距離から長距離構成まで、さまざまな長さがあり、柔軟なネットワーク設定を可能にします。InfiniBandのケーブルとコネクタの注目すべき点は、アクティブ銅線テクノロジーの利用です。この技術は、ワイヤ内で信号を増幅し、信号の完全性を高め、特に長距離の信号損失を最小限に抑えます。FSは、40G、56G、100G、200G、400G、800GのNVIDIA InfinibandモジュールとDAC/AOCケーブルでネットワーク効率を高めるのに役立ちます。以下は製品画像です。

NVIDIA InfiniBandアダプタ

ネットワークインターフェースカード(NIC)として機能するInfiniBandアダプタは、デバイスをInfiniBandネットワークに接続することを可能にします。ConnectX-6およびConnectX-7カードを含むFS NVIDIA InfiniBandアダプタは、データセンターアプリケーションの継続的に増大する需要に応えることを目的とした、最高のパフォーマンスと柔軟性の高いソリューションを可能にします。