NVIDIA H200 SXM ベンチマークまとめ

GPU・グラフィックボード

2025.03.22

1. はじめに
2. NVIDIA H200 SXM の技術仕様
3. ワークロード別のベンチマーク結果
4. エネルギー効率と総所有コスト（TCO）
5. 結論

1. はじめに

NVIDIA H200 Tensor コア GPU は、生成 AI およびハイパフォーマンスコンピューティング（HPC）ワークロードを革新的な性能とメモリ機能で強化するために設計された最新のデータセンター GPU です ¹。NVIDIA の最先端 AI および HPC GPU ポートフォリオへの最新の追加であり、データセンターに massive な計算能力をもたらします ¹。特に、世界初の HBM3e メモリを搭載した GPU であり、4.8 TB/秒のメモリ帯域幅を実現し、前世代の H100 と比較して 1.4 倍の向上を達成しています ¹。また、GPU メモリ容量もほぼ 2 倍の 141 GB に拡張されており、計算負荷の高い生成 AI および HPC アプリケーションの性能を加速し、増大するモデルサイズの要求に対応します ¹。

H200 GPU は、SXM5 フォームファクタまたは PCIe ダブルワイド GPU アダプターとして提供され、サポートされている ThinkSystem サーバーでは、4 つまたは 8 つの SXM5 GPU モジュールが完全に接続された NVLink トポロジで実装されます ¹。この GPU は、AI、特に大規模言語モデル（LLM）やマルチモーダル AI のトレーニングと推論において、前例のない能力を発揮することが期待されています ²。

2. NVIDIA H200 SXM の技術仕様

NVIDIA H200 SXM は、最新の Hopper アーキテクチャに基づいて構築されており、高度な機能を備えています ²。その主な技術仕様は以下の通りです ¹:

2.1 基本性能指標

CUDA コア数: 公式な製品ページや技術仕様書には明記されていませんが、H100 と比較して最大 30% 増加しているとの情報があります ⁵。
Tensor コア数: TechPowerUp のデータベースによると、16,896 個のシェーディングユニットと 528 個の Tensor コアを搭載しています ⁷。
GPU メモリ: 141 GB HBM3e ¹。
メモリ帯域幅: 4.8 TB/秒 ¹。
FP64: 34 TFLOPS ¹。
FP64 Tensor コア: 67 TFLOPS ¹。
FP32: 67 TFLOPS ¹。
TF32 Tensor コア: 989 TFLOPS ¹（構造的スパース性ありの場合は 495 TFLOPS ¹）。
BFLOAT16 Tensor コア: 1,979 TFLOPS ¹（構造的スパース性ありの場合は 990 TFLOPS ¹）。
FP16 Tensor コア: 1,979 TFLOPS ¹（構造的スパース性ありの場合は 990 TFLOPS ¹）。
FP8 Tensor コア: 3,958 TFLOPS ¹（構造的スパース性ありの場合は 1,979 TFLOPS ¹）。
INT8 Tensor コア: 3,958 TOPS ¹（構造的スパース性ありの場合は 1,979 TOPS ¹）。
最大消費電力 (TDP): 700W ¹。
インターコネクト: NVLink 900 GB/秒、PCIe Gen5 128 GB/秒 ¹。
マルチインスタンス GPU (MIG): 最大 7 つの MIG (各インスタンスあたり最大 18 GB) ¹。

これらの仕様から、H200 SXM は、特にメモリ帯域幅と容量において、前世代の H100 から大幅な進化を遂げていることがわかります。これにより、より大規模なモデルやデータセットを効率的に処理できるようになり、AI および HPC ワークロードの性能向上が期待されます。

2.2 H100 との比較

H200 は、H100 の成功に基づいて、メモリ容量が 2 倍、メモリ帯域幅が 1.4 倍に向上しています ¹。これにより、LLM の推論性能が大幅に向上し、例えば Llama2 70B モデルでは最大 1.9 倍、GPT-3 175B モデルでは最大 1.6 倍の高速化が報告されています ²。また、HPC ワークロードにおいても、特定のアプリケーションで最大 110 倍の性能向上が見込まれています ³。

仕様	NVIDIA H200 SXM	NVIDIA H100 SXM
GPU メモリ	141GB	80GB
GPU メモリ帯域幅	4.8TB/s	3.35TB/s
メモリタイプ	HBM3e	HBM3
最大 TDP	700W	700W
インターコネクト	NVLink: 900GB/s	NVLink: 900GB/s
FP8 Tensor コア性能	3,958 TFLOPS	3,958 TFLOPS
LLM 推論性能 (Llama2 70B)	最大 1.9 倍	1 倍
HPC 性能 (MILC)	最大 110 倍	–

この表から明らかなように、H200 はメモリ関連の仕様において H100 を大きく上回っており、これが実際のアプリケーションにおける性能向上に大きく貢献しています。

2.3 A100 との比較

H200 は、前々世代のハイエンド GPU である A100 と比較しても、大幅な性能向上を実現しています。Transformer Engine と第 4 世代 Tensor コアにより、H200 は A100 GPU と比較して LLM のファインチューニングを最大 5.5 倍高速化し ⁴、GPT-3 175B などの大規模言語モデルのトレーニングを最大 5 倍高速化します ⁴。また、H100 と A100 の比較では、H100 が AI トレーニングで最大 9 倍、推論で最大 30 倍高速であるという報告もあり ¹⁶、H200 はさらにその性能を上回ることが期待されます。特に、メモリ容量と帯域幅の向上は、大規模な AI モデルのトレーニングと推論においてボトルネックを解消し、より高い効率とスループットを実現します ⁶。

3. ワークロード別のベンチマーク結果

NVIDIA H200 SXM のベンチマーク結果を、AI・機械学習、HPC（ハイパフォーマンスコンピューティング）のワークロード別に分類して見ていきます。

3.1 AI・機械学習

3.1.1 大規模言語モデル（LLM）推論

H200 は、LLM 推論において顕著な性能向上を示しています。NVIDIA が示した比較では、H100 と比較して、Llama2 13B で 1.4 倍、GPT-3 175B で 1.6 倍、Llama2 70B で 1.9 倍の推論速度を達成しています ¹²。別の情報源では、Llama 2 70B モデルで H100 より約 45% 高速な 31,712 トークン/秒のスコアを記録しています ⁹。これらの結果は、H200 の大容量かつ高速な HBM3e メモリが、より長い入力シーケンスや大規模なモデルの処理において非常に有効であることを示唆しています ⁶。

3.1.2 大規模言語モデル（LLM）トレーニング

TensorFlow を用いた ResNet50 の学習ベンチマークでは、H200 は NVLink 対応の H100 NVL と比較して、画像処理速度で最大 1.25 倍のスコアを示しています ²⁰。また、H200 では、より大きなバッチサイズ（fp16 で 2048、fp32 で 1536）での演算が可能であり、より大規模なモデルでの活用が期待できます ²⁰。MLPerf 4.1 ベンチマークでは、H200 は H100 と比較してモデルのトレーニングとファインチューニングにおいてより高速な結果を示しています ⁶。特に、Blackwell アーキテクチャの B200 GPU の MLPerf 4.1 結果では、Llama 2 70B で H100 と比較して最大 4 倍の性能向上が報告されており、H200 も同様の傾向を示す可能性があります ²¹。

3.1.3 MLPerf ベンチマーク

MLPerf Inference v4.1 のデータセンター向けベンチマークでは、NVIDIA H200 Tensor コア GPU はすべてのテストで優れた結果を示しました ²²。特に、最新のベンチマークである Mixtral 8x7B (467 億パラメータ、トークンあたり 129 億パラメータがアクティブ) でも高い性能を発揮しています ²²。ソフトウェアの改善により、H200 の生成 AI 推論性能は前回のプレビュー提出と比較して最大 27% 向上しており ²²、Llama 2 70B の性能はソフトウェアの最適化だけで最大 14% 向上しています ²³。さらに、TDP を 1,000 ワットに増加させたカスタム冷却ソリューションを使用することで、Llama 2 70B ベンチマークで最大 12% の追加性能向上が得られています ²³。

ベンチマーク	GPU	構成	性能	比較対象	性能向上率	出典
Llama 2 70B 推論	H200 SXM	1 GPU	31,712 トークン/秒	H100	約 45%	⁹
ResNet50 学習 (fp16)	H200 SXM	1-4 基	H100 NVL より最大 1.25 倍の画像処理速度	H100 NVL	最大 1.25 倍	²⁰
Llama 2 70B 推論	B200 (予測)	1 GPU	H100 より最大 4 倍の性能	H100	最大 4 倍	²¹
Mixtral 8x7B 推論	H200	8 GPU (700W)	57,177 トークン/秒 (Server)	H100	1.13 倍	²³
Stable Diffusion XL 推論	H200	8 GPU (700W)	54.71 サンプル/秒 (Offline)	H100	1.27 倍	²³

これらの結果は、H200 が多様な AI ワークロードにおいて、特にメモリ帯域幅と容量が重要な LLM の推論とトレーニングにおいて、優れた性能を発揮することを示しています。

3.2 HPC（ハイパフォーマンスコンピューティング）

H200 は、HPC ワークロードにおいても大きな性能向上を実現しています。特に、メモリ帯域幅が HPC アプリケーションの性能に大きく影響するため、4.8 TB/秒という広帯域幅を持つ H200 は有利です ¹⁰。NVIDIA のデータによると、H200 は HPC アプリケーションにおいて A100 の平均 2 倍、H100 の 1.7 倍の性能を発揮し ²⁴、特定の HPC タスク（MILC 量子シミュレーションなど）では CPU と比較して最大 110 倍の高速化を達成しています ³。

HPC MILC ベンチマークでは、NERSC Apex Medium データセットを使用し、HGX H200 (4 GPU) とデュアル Sapphire Rapids 8480 CPU でテストが行われ、110 倍の性能向上が示されました ¹³。また、CP2K (H2O-32-RI-dRPA-96points)、GROMACS (STMV)、ICON (r2b5)、Chroma (HMC Medium)、Quantum Espresso (AUSURF112) などの他の HPC アプリケーションでも、H100 と比較して性能向上が確認されています ¹⁰。

HPL（High-Performance Linpack）ベンチマークでは、8 つの NVIDIA H200 GPU を搭載した Dell PowerEdge XE9680 サーバーが、H100 GPU を搭載した同様の構成と比較して 4.7% の性能向上を示しました ²⁵。この数値は一見控えめに見えるかもしれませんが、大規模な HPC 環境では、わずかな性能向上が時間とコストの大幅な節約につながる可能性があります ²⁵。

アプリケーション	データセット	H200 の性能 (相対評価)	H100 の性能 (相対評価)	比較対象	性能向上率	出典
MILC	NERSC Apex Medium	110x	1x (CPU 比較)	デュアル x86 CPU	110 倍	³
CP2K	H2O-32-RI-dRPA-96points	高	低	H100	–	¹⁰
GROMACS	STMV	高	低	H100	–	¹⁰
ICON	r2b5	高	低	H100	–	¹⁰
Chroma	HMC Medium	高	低	H100	–	¹⁰
Quantum Espresso	AUSURF112	高	低	H100	–	¹⁰
HPL	–	394.5 TFLOPS (8 GPU)	376.8 TFLOPS (8 GPU)	H100	4.7%	²⁵

これらの結果から、H200 は、特にメモリ帯域幅が重要な科学シミュレーションやデータ分析などの HPC ワークロードにおいて、優れた性能を発揮することがわかります。

3.3 グラフィックス

提供された情報には、NVIDIA H200 SXM のグラフィックス性能に関する具体的なベンチマーク結果は含まれていません。H200 は主にデータセンター向けの GPU であり、AI および HPC ワークロードに重点が置かれているため、一般的なグラフィックスベンチマークの結果は少ないと考えられます。ただし、その強力な計算能力は、高度なレンダリングや視覚化などのグラフィックス関連タスクにおいても高い性能を発揮する可能性があります。

4. エネルギー効率と総所有コスト（TCO）

H200 は、性能向上だけでなく、エネルギー効率の面でも優れています。NVIDIA は、H200 が H100 と同じ電力プロファイルでありながら、LLM 推論ワークロードにおいて最大 50% のエネルギー効率向上を実現すると述べています ²。これにより、データセンターの運用コスト削減に大きく貢献することが期待されます。

総所有コスト（TCO）に関しても、H200 は有利です。初期投資コストは H100 よりわずかに高い（10-15% 程度）ものの、運用コスト、特にエネルギー消費量が大幅に削減されるため、長期的には TCO を低く抑えることができます ⁹。一部の情報源では、H200 は H100 と比較してエネルギー使用量と総所有コストの両方で 50% 効率的であると報告されています ²⁴。

5. 結論

NVIDIA H200 SXM は、その強化されたメモリ容量と帯域幅により、AI および HPC ワークロードにおいて前世代の GPU を大幅に上回る性能を発揮します。特に、大規模言語モデルの推論とトレーニング、メモリ帯域幅が重要な HPC アプリケーションにおいて、その優位性が顕著です。また、エネルギー効率の向上により、運用コストの削減にも貢献し、データセンターにおける AI および HPC インフラストラクチャの発展を加速させる可能性があります。

今後の展開として、NVIDIA の Blackwell アーキテクチャに基づく B200 GPU の登場により、さらなる性能向上が期待されます。H200 は、現時点での最先端技術であり、高性能な計算能力を求める研究機関や企業にとって、非常に魅力的な選択肢となるでしょう。