GPUDirect 是 NVIDIA 的 GPU 直接通信技术族——让数据绕过 CPU 和系统内存、在 GPU 与外部设备之间建立直通路径。GPUDirect RDMA 让网卡直接读写 GPU 显存（省掉 CPU 中转拷贝）；GPUDirect Storage 让存储数据直达 GPU 显存（省掉 CPU 中转）；NVLink 则是 GPU 之间的直连。
AI 训练和推理都受益于 GPUDirect：训练时 AllReduce 梯度同步走 GPUDirect RDMA；推理时 KV cache 从存储直达 GPU 显存（GPUDirect Storage）；多机多卡 fabric 走 GPUDirect+RDMA——整条数据通路没有 CPU 中转瓶颈。
| 项目 | 数值 / 口径 |
|---|---|
| GPUDirect RDMA | 网卡↔GPU 显存直通 |
| GPUDirect Storage | NVMe/存储→GPU 显存直通 |
| 配套硬件 | ConnectX 网卡 + 支持 P2P 的 PCIe 拓扑 |
| 软件栈 | CUDA + NCCL + GPUDirect Storage SDK |
B300 全系支持 GPUDirect——GB200/GB300 NVL72 的跨机 fabric（ConnectX-8）和柜内 NVLink 域都走 GPUDirect 路径。采购互连件（网卡/交换机/线缆）时，GPUDirect 兼容性列表逐项核对是验收的必要项——第三方模块可能物理插上但 GPUDirect 不通。