规格词条 · 中卡 STANDARD CARD
AMD Instinct MI300X
192GB HBM3+5.3TB/s带宽,单卡装下700亿参数大模型推理,是当前二手与现货市场流通量最大的AMD旗舰卡,大模型推理性价比之王
AMD 厂商官方图
概述
AMD Instinct MI300X是基于CDNA3架构的数据中心加速器，采用台积电5nm与6nm混合工艺制造，集成19,456个流处理器、304个计算单元与1216个矩阵核心。其最大特点是配备192GB HBM3显存，配合8192-bit显存接口与全芯片ECC，可在单卡内承载大规模语言模型的权重与KV缓存。互联方面提供8条Infinity Fabric链路，支持多卡组网扩展。该卡采用OAM模组形态、被动散热设计，通过PCIe 5.0 x16与主机连接，典型用途为大模型推理、训练及高性能计算负载。
核心规格
| 架构 | CDNA3 |
| 显存 | 192 GB |
| 显存类型 | HBM3 |
| 显存位宽 | 8192-bit |
| 显存带宽 | 5.3 TB/s |
| FP8算力 | 2.61 PFLOPs |
| FP16算力 | 1.3 PFLOPs |
| FP32算力 | 163.4 TFLOPs |
| FP64算力 | 81.7 TFLOPs |
| INT8算力 | 2.6 POPs |
| 功耗TBP | 750W Peak |
| 互联 | PCIe® 5.0 x16 |
| Infinity Fabric Links | 8 |
| Infinity Fabric带宽 | 128 GB/s |
| 流处理器 | 19,456 |
| 形态 | OAM Module |
| 末级缓存LLC | 256 MB |
| 制程 | TSMC 5nm | 6nm FinFET |
规格已与官方基准快照对账（基准来源，采集 2026-10-09）· 价格以货主实际报价为准
适用场景
- 大语言模型推理服务：192GB HBM3允许在单卡内装载数百亿参数级模型及较长上下文的KV缓存，适合搭建在线推理服务
- 大模型微调与训练：矩阵核心提供FP8/FP16高吞吐算力，配合多卡Infinity Fabric互联可组成训练集群
- 高性能计算与科学计算：提供FP64与FP64矩阵双精度能力，可用于仿真、气象、计算化学等传统HPC场景
- 虚拟化与多租户GPU池化：支持SR-IOV，可将单卡切分给多个虚拟机或容器实例使用，提高资源利用率
同族型号
| 型号 | 显存 | 功耗 |
|---|---|---|
| AMD Instinct MI325X 对比 | 256 GB | 1000W Peak |
| AMD Instinct MI210 对比 | 64 GB | — |
采购与验货要点
- 确认形态与散热配套：MI300X为OAM模组、被动散热设计，依赖机箱强制风道，采购前需确认服务器整机（如UBB/OAM基板方案）兼容性，不可直接插入普通PCIe散热风冷工位
- 评估机房供电与散热余量：该卡典型板级功耗峰值较高（官方标称750W Peak），单机多卡部署时需核算机柜供电、母排（54V UBB供电方案）与风冷/液冷散热能力
- 验证软件生态与固件版本：采购二手或现货时核实ROCm驱动支持范围、VBIOS与固件状态、显存ECC记录及SR-IOV功能可用性，并确认供应商对多卡Infinity Fabric链路的连通性测试报告
常见问题
MI300X单卡能跑多大的模型？
其192GB HBM3显存可在单卡内完整装载数百亿参数级别的大语言模型权重，并为长上下文推理预留KV缓存空间；更大模型可通过多卡Infinity Fabric互联进行张量并行切分。
MI300X和NVIDIA同级别数据中心卡相比有什么差异？
MI300X的主要差异点在于单卡显存容量更大（192GB HBM3），对显存受限的大模型推理场景更友好；差异点还包括其采用ROCm软件栈而非CUDA，需评估框架适配情况。具体性能对比建议以第三方独立基准测试为准。
买二手或现货MI300X需要注意什么？
该型号在二手与现货市场流通量较大，采购时应核实来源与保修状态、检查显存ECC错误日志、确认OAM模组与服务器整机方案的匹配性（含54V UBB供电），并要求卖家提供多卡互联与满载稳定性测试记录。
采集 2026-10-09 · 侦察 侦察兵-自动小弟B2 · 升级厚词条走 编辑政策 流程