H100同座的显存升级版——功耗档不变仍700W,显存翻到141GB HBM3e/4.8TB/s,大模型推理吞吐翻倍,HGX H200八卡机是推理集群新中坚;2026年对华出口松绑后放量,大显存现货市场的硬通货
NVIDIA H200 SXM是基于Hopper架构的数据中心GPU，定位为H100的同座显存升级版。其最显著的变化是单卡显存提升至141GB HBM3e，官方称其为全球首款采用该容量HBM3e的GPU。在功耗档位与H100保持一致的情况下，官方数据表明其大语言模型推理吞吐可达约两倍。计算能力方面，H200 SXM支持FP64、FP32及各类Tensor Core精度，FP8算力达到4 petaFLOPS（含稀疏加速）。形态为SXM，可通过NVLink以900GB/s互联组成HGX H200四卡或八卡系统，广泛用于大模型推理与训练、高性能计算及视频解码负载，是大显存推理集群的主流选择。
| 架构 | NVIDIA Hopper(GH100核心,TSMC 4N定制工艺,800亿晶体管,814mm²,与H100 SXM同颗GH100) |
| 显存 | 141GB HBM3e(6144bit总线/6.3Gbps引脚速率,官方称全球首款141GB HBM3e单卡) |
| 显存类型 | HBM3e |
| 显存位宽 | 6144bit |
| 显存带宽 | 4.8TB/s(官方页+Datasheet+新闻稿+Wikipedia四源一致) |
| 算力 | FP8 Tensor Core 3,958 TFLOPS(含稀疏,密集1,979);FP16/BF16 TC 1,979*;TF32 TC 989*;INT8 TC 3,958 TOPS*;FP64 TC 67;FP32 67;FP64 34(SXM口径,*=With sparsity) |
| 功耗 | SXM最高700W(可配置);同座H100 SXM同为700W功耗档 |
| 互联 | NVLink 900GB/s+PCIe Gen5 128GB/s;经NVSwitch组HGX H200 4/8卡全互联(8卡FP8合计超32 PFLOPS,显存合计1.1TB) |
| 发布年 | 2024(2023-11-13 SC23宣布,官方口径2024 Q2起OEM交付;业界通行记载2024-06-04全面GA,旁证级) |
| SM与CUDA核 | 132 SM / 16,896 FP32 CUDA核(GH100,与H100 SXM5同源;旁证Wikipedia Hopper表) |
| 加速频率 | 1,980MHz(旁证Wikipedia Hopper表,与H100 SXM行同列合并显示;NVIDIA官方未单列H200时钟,谨慎引用) |
| L2缓存 | 50MB(架构级,旁证Wikipedia) |
| MIG切片 | 最多7实例@18GB(每实例18GB,大于H200 NVL的16.5GB与H100的10GB) |
| 编解码器 | 7 NVDEC + 7 JPEG |
| 机密计算 | Confidential Computing Supported |
| 形态 | SXM模组(液冷/风冷由整机定,配HGX H200 4或8卡;AI Enterprise为Add-on另购) |
| 型号 | 显存 | 功耗 |
|---|
| NVIDIA T4 对比 | 16GB GDDR6 with ECC (默认开启) | 70W (Total board power, 默认) |
| NVIDIA A100 对比 | 40GB HBM2 / 80GB HBM2e 双版本（80GB 版 2020-11-16 SC20 增发），带 ECC | SXM4 400W（40GB/80GB 同）；PCIe 版 40GB 250W / 80GB 300W |
| NVIDIA H20 对比 | 96GB HBM3(Flopper/VipraTech/腾讯新闻三源一致) | 400W TDP(Flopper/VipraTech规格表/腾讯新闻'热设计功耗400W'三源;VipraTech正文另有350W矛盾口径已弃) |
| NVIDIA GB300 对比 | 288GB HBM3e（单GPU封装；超级芯片576GB；HGX板级2.1TB/机柜20TB并存） | TGP 最高 1400W（单GPU，官方博客直证） |
| NVIDIA A30 对比 | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 对比 | 24GB GDDR6X | 450W TGP (平均游戏315W, 建议系统电源850W) |