2026-09-10 · 来源：{'name': 'SiliconANGLE', 'url': 'https://siliconangle.com/2026/09/09/lightbits-set-to-release-kv-cache-engine-to-boost-gpu-performance/'}
这家NVMe over TCP协议先驱推出的新软件引擎,将键值缓存数据从GPU高带宽内存中迁移出去,以改善AI推理的经济性与性能。
Lightbits Labs Ltd.宣布其软件引擎Inferra正式全面上市。该引擎旨在同时提升人工智能推理的性能与经济性。产品的核心设计目标,是将键值缓存数据从GPU附带的有限高带宽内存中迁移出去,让AI系统摆脱长期以来制约推理工作负载运行的这一瓶颈。
键值缓存是现代推理的核心环节。模型在生成输出时会存储中间状态,以免重复计算,而这些状态必须存放在某处。GPU附带的高带宽内存容量有限,Inferra通过将缓存数据迁移至内存之外,直接化解了这一上限。Lightbits将这一成果定位为对AI模型服务成本与速度的直接改善,由该引擎在推理运行过程中承担键值数据的搬迁工作。
这家公司最为人熟知的身份是NVMe over TCP存储协议的发明者,这一技术底色也塑造了其方法论:将推理周边的内存压力视为一个数据搬运问题。借助Inferra,Lightbits正将其存储软件能力向AI推理场景延伸。
萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅