| 规格 | NVIDIA H100 SXM | NVIDIA A100 |
|---|
| 架构 | NVIDIA Hopper(GH100核心,TSMC 4N定制工艺,800亿晶体管,814mm²,Compute Capability 9.0) | NVIDIA Ampere (GA100)，第3代 Tensor Core |
| 显存 | 80GB HBM3(SXM5口径,5颗HBM3堆栈);PCIe版为80GB HBM2e(5堆栈,2TB/s) | 40GB HBM2 / 80GB HBM2e 双版本（80GB 版 2020-11-16 SC20 增发），带 ECC |
| 显存位宽 | 5120bit(SXM5与PCIe版均为10个512bit内存控制器) | 5120bit |
| 显存带宽 | 3.35TB/s(SXM5);PCIe版2TB/s | 40GB 版 1,555 GB/s（PCIe/SXM 同）；80GB SXM4 版 2,039 GB/s / 80GB PCIe 版 1,935 GB/s（官方 datasheet 四列分列口径） |
| 算力 | FP8 Tensor Core 3,958 TFLOPS(含稀疏,密集1,979);FP16/BF16 TC 1,979*;TF32 TC 989*;FP64 TC 67;FP32 67;FP64 34(SXM5口径,*=With sparsity) | FP32 19.5 / FP64 9.7 / FP64 Tensor 19.5 TFLOPS；TF32 156(312*) / BF16 312(624*) / FP16 312(624*) TFLOPS / INT8 624(1248*) TOPS——官方 datasheet 四形态（40G PCIe/80G PCIe/40G SXM/80G SXM）算力同口径，*为稀疏加速 |
| 功耗 | SXM5最高700W(可配置);PCIe版350W | SXM4 400W（40GB/80GB 同）；PCIe 版 40GB 250W / 80GB 300W |
| 互联 | NVLink 4.0 900GB/s(SXM5,18条链路)+PCIe Gen5 x16 128GB/s;PCIe版:PCIe Gen5 128GB/s,可选双卡NVLink桥接600GB/s | SXM4 版：NVLink 3.0 12链路 600GB/s 双向 + PCIe Gen4 64GB/s；PCIe 版：NVLink Bridge 双卡互连 600GB/s + PCIe Gen4 64GB/s |
| 发布年 | 2022(2022-03-22 GTC发布,SXM5 Q3 2022上市) | 2020（40GB 版 2020-05-14 GTC 发布；80GB 版 2020-11-16 SC20 发布） |
| SM与CUDA核 | 132 SM / 16,896 FP32 CUDA核(SXM5);PCIe版114 SM / 14,592 | — |
| 加速频率 | SXM5:1830MHz(FP8/FP16/BF16/TF32 TC)/1980MHz(FP64 TC与FP32/FP64);PCIe版:1620/1755MHz | — |
| L2缓存 | 50MB | — |
| MIG切片 | 第二代Secure MIG,最多7实例@10GB | — |
| 编解码器 | 7 NVDEC + 7 NVJPG | — |
| 形态 | SXM5模组(液冷/风冷由整机定,配HGX/DGX H100 4或8卡);PCIe版双槽风冷 | SXM4 模组（HGX A100 4/8/16卡、DGX A100 8卡）/ PCIe 双槽 10.5英寸全长 |
| CUDA核心 | — | 6912 FP32 CUDA（108 SM）/ 第3代 Tensor Core |
| 工艺 | — | TSMC 7nm（N7 定制），54.2B 晶体管，826mm² |
| MIG | — | Multi-Instance GPU 最多 7 硬件隔离实例（40GB 版单实例最高 5GB / 80GB 版 10GB） |