| 规格 | NVIDIA H100 SXM | NVIDIA GeForce RTX 4090 |
|---|
| 架构 | NVIDIA Hopper(GH100核心,TSMC 4N定制工艺,800亿晶体管,814mm²,Compute Capability 9.0) | Ada Lovelace (AD102-300, 128 SM) |
| 显存 | 80GB HBM3(SXM5口径,5颗HBM3堆栈);PCIe版为80GB HBM2e(5堆栈,2TB/s) | 24GB GDDR6X |
| 显存位宽 | 5120bit(SXM5与PCIe版均为10个512bit内存控制器) | 384bit |
| 显存带宽 | 3.35TB/s(SXM5);PCIe版2TB/s | 1008GB/s (21Gbps x 384bit) |
| 算力 | FP8 Tensor Core 3,958 TFLOPS(含稀疏,密集1,979);FP16/BF16 TC 1,979*;TF32 TC 989*;FP64 TC 67;FP32 67;FP64 34(SXM5口径,*=With sparsity) | FP32 82.6 TFLOPS (官方发布口径, 现页四舍五入标83) / Tensor 1321 AI TOPS (FP8稀疏) / RT 191 TFLOPS |
| 功耗 | SXM5最高700W(可配置);PCIe版350W | 450W TGP (平均游戏315W, 建议系统电源850W) |
| 互联 | NVLink 4.0 900GB/s(SXM5,18条链路)+PCIe Gen5 x16 128GB/s;PCIe版:PCIe Gen5 128GB/s,可选双卡NVLink桥接600GB/s | PCIe Gen4 x16 (不支持NVLink) |
| 发布年 | 2022(2022-03-22 GTC发布,SXM5 Q3 2022上市) | 2022 (2022-09-20 GTC发布, 2022-10-12开售, MSRP $1599) |
| SM与CUDA核 | 132 SM / 16,896 FP32 CUDA核(SXM5);PCIe版114 SM / 14,592 | — |
| 加速频率 | SXM5:1830MHz(FP8/FP16/BF16/TF32 TC)/1980MHz(FP64 TC与FP32/FP64);PCIe版:1620/1755MHz | — |
| L2缓存 | 50MB | — |
| MIG切片 | 第二代Secure MIG,最多7实例@10GB | — |
| 编解码器 | 7 NVDEC + 7 NVJPG | — |
| 形态 | SXM5模组(液冷/风冷由整机定,配HGX/DGX H100 4或8卡);PCIe版双槽风冷 | FE三槽 304x137mm, 供电 3x8pin转接或12VHPWR(450W Gen5) |
| CUDA核心 | — | 16384 (128 SM) / Tensor Core 512 (四代) / RT Core 128 (三代) |
| 频率 | — | Base 2.23GHz / Boost 2.52GHz |
| 工艺 | — | TSMC 4N, 763亿晶体管, 608.5mm² (AD102 满血144SM, 4090启用128) |
| 媒体引擎 | — | 2x 第八代NVENC / 1x 第五代NVDEC, AV1编解码 |
| 显示输出 | — | HDMI 2.1a x1 + DisplayPort 1.4a x3, 4K240/8K60(DSC) |
| CUDA算力等级 | — | Compute Capability 8.9 |