萬安百科 › 机型词条 › NVIDIA GeForce RTX 4090

GeForce RTX 4090 是 NVIDIA Ada Lovelace 世代的旗舰消费卡(2022-10 发布,官方页/Ada 白皮书口径,2026-11 核验):16384 CUDA 核(AD102·82.6 TFLOPS FP32)、24GB GDDR6X · 384bit · 1008GB/s、96MB L2、450W、PCIe 4.0。在 AI 语境里它是 24GB 单卡推理的普及档——CUDA 生态全兼容+海量装机,个人与中小团队本地模型部署的起点卡(对照数据中心卡的 L40S/ RTX 5090)。
| 维度 | RTX 4090(本词条·官方口径) | RTX 5090(官方页·词条) |
|---|---|---|
| 架构 | Ada Lovelace(AD102) | Blackwell |
| CUDA 核 | 16384 · 82.6 TFLOPS FP32 | 21760 |
| 显存 | 24GB GDDR6X · 384bit · 1008GB/s | 32GB GDDR7 · 1.79TB/s |
| L2 | 96MB | — |
| 功耗 | 450W | 575W |
| AI 档位 | 24GB 推理普及档 | 32GB 单卡上移档 |
口径:4090 列=NVIDIA 官方页/Ada 白皮书(2026-11 核验);5090 列=官方页口径。消费卡与数据中心卡(Tensor 档/MIG/被动散热)形态语义不同,不直比。
| 项目 | 规格(NVIDIA 官方口径) |
|---|---|
| 架构 | Ada Lovelace · AD102 |
| CUDA | 16384 核 · 82.6 TFLOPS FP32(官方口径) |
| RT/Tensor | 第三代 RT Core(191 TFLOPS)· 512 个第四代 Tensor Core |
| 显存 | 24GB GDDR6X · 384bit · 1008GB/s · 96MB L2 |
| 功耗 | TGP 450W · PCIe 4.0 x16 · 12VHPWR 供电 |
| 形态 | 三槽级旗舰散热(各 AIC 版型各异) |
| AI 栈 | CUDA 全生态 · TensorRT-LLM 单卡推理(生态口径) |
| 场景 | 24GB 显存的适配口径(推算:权重×精度+开销) |
|---|---|
| 7B–14B 级 | FP16/INT8/4-bit 舒适——本地推理与微调入门主力(推算口径) |
| 30B 级 4-bit | 贴边缘可容(推算口径)——长上下文按 24GB 余量核算 |
| 70B 级 | 超单卡上限——双卡 NVLink 桥接或上移数据中心卡线 |