H100的对华合规裁剪版——FP8砍到296 TFLOPS(约H100的7.5%)但塞进96GB HBM3+4.0TB/s+NVLink 900GB/s,砍算力不砍显存和互联,专为大模型推理而生;国内AI推理采购的主力Hopper卡,HGX 8路整机是推理集群刚需,存量流通口径对交易场景最重要
NVIDIA H20是NVIDIA基于Hopper架构、面向大模型推理场景设计的数据中心GPU，以SXM形态为主，通过8路HGX方案部署。其规格取舍特征明显：FP8密集算力为296 TFLOPS（稀疏592 TFLOPS），而显存容量达96 GB HBM3，并保留900 GB/s的NVLink互联与最多7路MIG切分能力，可支撑8机互联下的大参数模型推理与多租户隔离。该型号在国内AI推理集群采购中流通量较大，存量渠道信息对其交易定价具有直接影响。
| 架构 | NVIDIA Hopper(H100同架构合规裁剪版;VipraTech与腾讯新闻双源实抓) |
| 显存 | 96GB HBM3(Flopper/VipraTech/腾讯新闻三源一致) |
| 显存带宽 | 4.0TB/s(三源一致;显存位宽6144bit仅第三方数据库搜索摘要提及,未实抓双源,不录) |
| 算力 | FP8 Tensor Core 296 TFLOPS(密集)/592 TFLOPS(2:4稀疏,单源);FP16/BF16 Tensor Core 148 TFLOPS(密集,单源;稀疏口径未双源实抓);TF32 Tensor Core 74 TFLOPS;FP32 44 TFLOPS;FP64 1.0 TFLOPS(合规裁剪:H100 SXM同表FP8 3958/FP16 1979/FP64 34);INT8 296 TOPS/592 TOPS(单源) |
| 功耗 | 400W TDP(Flopper/VipraTech规格表/腾讯新闻'热设计功耗400W'三源;VipraTech正文另有350W矛盾口径已弃) |
| 互联 | NVLink 900GB/s(VipraTech+腾讯新闻双源;第几代NVLink无实抓双源,不录代数)+PCIe Gen5 x16 128GB/s(VipraTech实抓,BurnCloud旁证Gen5) |
| 发布年 | 2024(Flopper实抓Launch Year 2024;腾讯新闻2023-11-10首发报道'即将推出';具体发布日未实抓双源,不录) |
| 形态 | HGX 8路SXM基板模组(Flopper'SXM'/VipraTech'8-way HGX'/腾讯新闻'HGX方案8路GPU配置+H20 SXM';同批L20/L2为PCIe形态) |
| L2缓存 | 60MB(单源VipraTech) |
| CUDA核心 | 14,592 FP32 CUDA核心(单源VipraTech) |
| MIG切片 | 最多7实例(VipraTech+腾讯新闻'7路MIG'双源) |
| 编解码器 | 7 NVDEC + 7 NVJPEG(单源VipraTech) |
| 出口合规背景 | 2022-10美国出口管制后对华合规特供卡:算力密度较H100大幅裁剪(FP8约为H100 SXM的7.5%),以显存96GB+NVLink900GB/s保推理场景(QQ:综合算力约H100的20%) |
| 型号 | 显存 | 功耗 |
|---|
| NVIDIA T4 对比 | 16GB GDDR6 with ECC (默认开启) | 70W (Total board power, 默认) |
| NVIDIA A100 对比 | 40GB HBM2 / 80GB HBM2e 双版本（80GB 版 2020-11-16 SC20 增发），带 ECC | SXM4 400W（40GB/80GB 同）；PCIe 版 40GB 250W / 80GB 300W |
| NVIDIA GB300 对比 | 288GB HBM3e（单GPU封装；超级芯片576GB；HGX板级2.1TB/机柜20TB并存） | TGP 最高 1400W（单GPU，官方博客直证） |
| NVIDIA A30 对比 | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 对比 | 24GB GDDR6X | 450W TGP (平均游戏315W, 建议系统电源850W) |
| NVIDIA RTX PRO 6000 Blackwell 对比 | 96GB GDDR7 with ECC (单卡最大显存的专业工作站 GPU) | 600W Total board power (官方), 供电 1x PCIe CEM5 16-pin, 双贯穿式散热(Double-flow-through) |