NVIDIA DGX H100の紹介

NVIDIA DGX H100システムは、アナリティクスやトレーニングから推論に至るまで、あらゆるAIインフラストラクチャとワークロードのために設計された専用かつ多用途なソリューションです。このシステムには、NVIDIA Base Command™とNVIDIA AI Enterpriseソフトウェアスイート、さらにNVIDIA DGXpertsによる専門的なアドバイスが含まれています。

DGX H100のハードウェアとコンポーネントの特徴

ハードウェアの概要

NVIDIA DGX H100 640GBシステムには、以下のコンポーネントが含まれています。

フロントパネルの接続とコントロール

左はベゼル付きのDGX H100システムの画像、右はベゼルなしのDGX H100システムの画像です。

DGX H100の実際のパネルモジュールを示す画像です。

• 外形寸法：8Uラックマウント、高さ14インチ、最大幅19インチ、最大奥行き35.3インチ。

• 重量：最大287.6ポンド（130.45kg）。

• 入力電圧：AC200～240ボルト。

• 各電源の仕様：最大10.2キロワット、3300ワット@200-240ボルト、16アンペア、50-60ヘルツ。

• InfiniBand、Ethernetを含む高速ネットワーク接続に対応（最大400Gbps）。

外部ポートの接続とコントロール

次の図は、DGX H100 システムのマザーボード接続とコントロールを示します。

• スロット1：デュアルポートConnectX-7カード

• スロット2：デュアルポートConnectX-7カード

• スロット3：100 Gb/秒イーサネットNIC

• スロット4：デュアル1.92TB NVMeブートドライブ用M.2 PCleキャリア

• 2xUSBポート（キーボードまたはストレージ）

• シリアルL/Oポート

• VGAポート（モニター）

• リモートシステム管理用1 GbE RJ-45

• リモートホスト用10 GbE RJ-45

マザーボードトレイコンポーネント

CPUマザーボードトレイは、標準的なサーバーと人工知能向けに設計されたサーバーの両方を含む、サーバーの中心的なコンポーネントとして機能します。CPUマザーボード、システムメモリ、ネットワークカード、PCIEスイッチ、その他様々なコンポーネントを含む重要な要素を収納します。以下は、DGX H100のマザーボードトレイのコンポーネントを示す画像です。

• システムメモリ：各32 DIMMが2TBのメモリを提供します。

• アウトオブバンドシステム管理（BMC）：Redfish、IPMI、SNMP、KVM、Webユーザーインターフェースをサポート。

• インバンドシステム管理：3つのデュアルポート100GbEおよび10GbE RJ45インターフェイス。メカニカルおよび電源仕様

• ストレージ ：

オペレーティングシステムストレージ：1.92 TB NVMe M.2 SSD×2（RAID 1アレイ）。

データキャッシュストレージ: 8 3.84 TB NVMe U.2 SED (RAID 0アレイ)。

• ネットワーク ：

クラスターネットワーク：OSFPポート×4、InfiniBand（最大400Gbps）とEthernet（最大400GbE）に対応。

ストレージネットワーク：2つのNVIDIA ConnectX-7デュアルポートイーサネットカード、イーサネット（最大400GbE）とInfiniBand（最大400Gbps）をサポート。

GPUトレイコンポーネント

DGX H100システムのGPUトレイコンポーネントのイメージです。

• グラフィックプロセッサ：8個のNVIDIA H100 GPU、640GBのGPUメモリを提供。

• NVLink：900GB/秒のGPU間バンド幅を提供する4つの第4世代NVLink。

GPUボードトレイは、AIサーバー内の極めて重要なアセンブリエリアとして機能します。その中核となるのがGPUボードトレイで、GPUコンポーネント、モジュールボード、NVSwitchなどの重要な要素を包含します。

DGX H100システムトポロジー

DGX H100システムトポロジーのイメージは、システム内のさまざまなハードウェアコンポーネント間の接続、構成、相互関係を示しています。

DGX H100の機能的利点

人工知能は、困難なビジネス課題に対処するためのソリューションとして好まれるようになりました。企業にとって、AIは性能や機能性だけでなく、組織のITアーキテクチャやプラクティスとの密接な統合も重要です。AIインフラのパイオニアとして、NVIDIAのDGXシステムは、こうした基本的な考え方を実現するための最も強力で包括的なAIプラットフォームを提供します。

このシステムは、AIのスループットを最適化するように設計されており、自然言語処理、レコメンダーシステム、データ分析などにおける画期的な進歩を可能にする、高度に洗練され、体系的に整理された、スケーラブルなプラットフォームを企業に提供します。

DGX H100は、オンプレミスでの直接管理、NVIDIA DGX-Readyデータセンターでのコロケーション、NVIDIA DGX Foundryを通じたレンタル、NVIDIA認定のマネージドサービスプロバイダーを通じたアクセスなど、多様な導入オプションを提供します。DGX-Readyライフサイクル管理プログラムは、予測可能な財務モデルを組織に保証し、その導入をテクノロジーの最先端に維持します。これにより、DGX H100は従来のITインフラストラクチャと同様にユーザーフレンドリーでアクセスしやすいものとなり、多忙なITスタッフの負担を軽減します。