24GB大显存消费卡的二手流通之王: AI推理与算力租赁市场保有量极大的单卡, 24GB显存+FP32 35.6 TFLOPS覆盖中小模型推理与大模型量化推理, 二手货源充足价格透明; 30系首发唯一(与后期3090 Ti)保留NVLink 3.0双向112.5GB/s, 双卡桥接可组48GB显存池跑小规模训练/大显存推理, 是租赁场景差异化卖点; 350W功耗对租赁机房供电友好; MSRP $1,499
NVIDIA GeForce RTX 3090是基于Ampere架构（GA102核心）的旗舰级消费显卡，配备24GB GDDR6X显存与384-bit位宽，FP32算力达35.6 TFLOPS，搭载第三代Tensor Core与第二代RT Core。凭借24GB大显存与充足的二手市场保有量，它在AI推理与算力租赁领域应用广泛；同时它是30系中少数保留NVLink 3.0（双向112.5 GB/s）的型号，可通过桥接实现显存合并，覆盖中小模型推理与大模型量化推理等场景。
| 架构 | Ampere (GA102-300, 82 SM) |
| 显存 | 24GB GDDR6X |
| 显存带宽 | 936GB/s (19.5Gbps x 384bit) |
| 显存位宽 | 384bit |
| 算力 | FP32 35.6 TFLOPS (官方发布口径, Wikipedia按Boost核算35.58) / Tensor 142 TFLOPS [284稀疏] |
| CUDA核心 | 10496 (82 SM) / Tensor Core 328 (三代) / RT Core 82 (二代) |
| 功耗 | 350W TGP (建议系统电源750W) |
| 互联 | PCIe Gen4 x16 + NVLink 3.0 双向112.5GB/s (30系首发唯一保留NVLink的消费卡, 与后期3090 Ti; 40系起移除) |
| 发布年 | 2020 (2020-09-01发布会, 2020-09-24开售, MSRP $1,499) |
| 频率 | Base 1.40GHz / Boost 1.70GHz |
| 工艺 | Samsung 8N, 283亿晶体管, 628.4mm² (GA102满血84SM:10752CUDA, 3090启用82) |
| 媒体引擎 | 第7代NVENC / 第5代NVDEC (官方页标注NVDEC为Decoder) |
| 显示输出 | HDMI 2.1 + DP 1.4a x3, 4屏, HDCP 2.3, 7680x4320 |
| 形态 | FE三槽 313x138mm, 供电 2x8pin(附1x12-pin转接), 需750W电源 |
| CUDA算力等级 | Compute Capability 8.6 |
| 型号 | 显存 | 功耗 |
|---|
| NVIDIA T4 对比 | 16GB GDDR6 with ECC (默认开启) | 70W (Total board power, 默认) |
| NVIDIA A100 对比 | 40GB HBM2 / 80GB HBM2e 双版本（80GB 版 2020-11-16 SC20 增发），带 ECC | SXM4 400W（40GB/80GB 同）；PCIe 版 40GB 250W / 80GB 300W |
| NVIDIA H20 对比 | 96GB HBM3(Flopper/VipraTech/腾讯新闻三源一致) | 400W TDP(Flopper/VipraTech规格表/腾讯新闻'热设计功耗400W'三源;VipraTech正文另有350W矛盾口径已弃) |
| NVIDIA GB300 对比 | 288GB HBM3e（单GPU封装；超级芯片576GB；HGX板级2.1TB/机柜20TB并存） | TGP 最高 1400W（单GPU，官方博客直证） |
| NVIDIA A30 对比 | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 对比 | 24GB GDDR6X | 450W TGP (平均游戏315W, 建议系统电源850W) |