NVIDIA L40S

实拍

概述

NVIDIA L40S 是基于 Ada Lovelace 架构的 PCIe 双槽数据中心 GPU，搭载 48GB GDDR6 显存（带 ECC）与 864GB/s 显存带宽，通过 PCIe Gen4 x16 提供双向 64GB/s 互联。它配备 18,176 个 CUDA 核心、142 个第三代 RT Core 与 568 个第四代 Tensor Core，FP8 Tensor Core 算力可达 1,466 TFLOPS（稀疏），并集成三组 NVENC/NVDEC 编解码单元，支持 AV1 编解码。凭借大显存、高算力与视频处理能力的组合，L40S 常用于大模型推理、图像生成、光线追踪渲染以及 Omniverse 等数字孪生工作负载，是国内现货流通量较大的大显存 Ada 卡之一。

核心规格

适用场景

• 大语言模型与多模态模型的单卡或小规模集群推理部署，48GB 显存可承载较大参数量的模型与较长上下文
• 基于 FP8/INT8 量化的高性能推理服务，利用 1,466 TFLOPS（稀疏）的 Tensor Core 算力提升吞吐
• 依托 142 个第三代 RT Core 进行离线与实时光线追踪渲染、可视化和内容制作
• Omniverse 与数字孪生应用，以及利用三组 NVENC/NVDEC（含 AV1）的批量视频转码与流媒体处理

同族型号

采购与验货要点

• 注意整机与机房供电：L40S 单卡最大功耗 350W，采用 16-pin 供电接口，整机需预留相应冗余电源与线缆，机柜功率密度要按此规划
• 确认散热与机箱形态：该卡为被动散热的双槽全高设计，尺寸约 4.4 英寸高、10.5 英寸长，必须安装在具有足够风道的服务器中，不支持普通桌面机箱直接使用
• 互联与部署拓扑：L40S 仅支持 PCIe Gen4 x16（双向 64GB/s），不支持 NVLink，也不支持 MIG 分区，多卡间通信需走 PCIe 与主机侧网络，采购时应结合业务对卡间带宽的需求选型；同时可留意 Secure Boot 与 NEBS Level 3 认证对交付环境的意义

常见问题