| 规格 | NVIDIA H200 SXM | NVIDIA A30 |
|---|
| 架构 | NVIDIA Hopper(GH100核心,TSMC 4N定制工艺,800亿晶体管,814mm²,与H100 SXM同颗GH100) | NVIDIA Ampere |
| 显存 | 141GB HBM3e(6144bit总线/6.3Gbps引脚速率,官方称全球首款141GB HBM3e单卡) | 24 GB HBM2 |
| 显存类型 | HBM3e | — |
| 显存位宽 | 6144bit | — |
| 显存带宽 | 4.8TB/s(官方页+Datasheet+新闻稿+Wikipedia四源一致) | 933 GB/s |
| 算力 | FP8 Tensor Core 3,958 TFLOPS(含稀疏,密集1,979);FP16/BF16 TC 1,979*;TF32 TC 989*;INT8 TC 3,958 TOPS*;FP64 TC 67;FP32 67;FP64 34(SXM口径,*=With sparsity) | — |
| 功耗 | SXM最高700W(可配置);同座H100 SXM同为700W功耗档 | — |
| 互联 | NVLink 900GB/s+PCIe Gen5 128GB/s;经NVSwitch组HGX H200 4/8卡全互联(8卡FP8合计超32 PFLOPS,显存合计1.1TB) | PCIe Gen4: 64GB/s / Third-gen NVLINK: 200GB/s |
| 发布年 | 2024(2023-11-13 SC23宣布,官方口径2024 Q2起OEM交付;业界通行记载2024-06-04全面GA,旁证级) | — |
| SM与CUDA核 | 132 SM / 16,896 FP32 CUDA核(GH100,与H100 SXM5同源;旁证Wikipedia Hopper表) | — |
| 加速频率 | 1,980MHz(旁证Wikipedia Hopper表,与H100 SXM行同列合并显示;NVIDIA官方未单列H200时钟,谨慎引用) | — |
| L2缓存 | 50MB(架构级,旁证Wikipedia) | — |
| MIG切片 | 最多7实例@18GB(每实例18GB,大于H200 NVL的16.5GB与H100的10GB) | — |
| 编解码器 | 7 NVDEC + 7 JPEG | — |
| 机密计算 | Confidential Computing Supported | — |
| 形态 | SXM模组(液冷/风冷由整机定,配HGX H200 4或8卡;AI Enterprise为Add-on另购) | Dual-slot, full-height, full-length (FHFL) |
| FP32算力 | — | 10.3 teraFLOPS |
| FP64算力 | — | 5.2 teraFLOPS |
| TF32算力 | — | 82 teraFLOPS | 165 teraFLOPS |
| FP16算力 | — | 165 teraFLOPS | 330 teraFLOPS |
| INT8算力 | — | 330 TOPS | 661 TOPS |
| 功耗TDP | — | 165 W |
| MIG | — | 4 GPU instances @ 6GB each |