← 資訊首页 | 货源大厅

Corbenic的Galahad靠少读把SSD变成AI内存,推理提速14倍

Corbenic的Galahad靠少读把SSD变成AI内存,推理提速14倍

这家比利时初创公司为vLLM、SGLang和Llama.cpp承诺精确且加密的KV缓存复用——但LMCache、Nvidia和Phison早已在席。

快14倍,是Corbenic打头的数字。这家比利时初创公司的Galahad软件把服务器的SSD变成用于大语言模型服务的AI内存,而公司对14倍加速的真正来源毫不讳言:不是把数据读得更快,而是读得更少。

Corbenic自己的信条概括了这一机制——GPU绝不把同一份文本读两遍。Galahad围绕KV缓存复用构建:捕获模型消化提示词时产生的中间状态,将其持久化到SSD,之后再加载而非重算。当输入重复或重叠时,加速器完全跳过冗余工作。这一区别对任何评估SSD级缓存的人都很重要,因为其性能主张建立在“省掉的计算”之上,而非存储带宽跑赢DRAM。

该产品面向三种部署最广的推理栈——vLLM、SGLang和Llama.cpp——承诺精确且加密的KV缓存复用。“精确”关乎保真:缓存状态被原样复用而非近似;“加密”则回应了提示词内容一旦写入持久存储就会浮现的机密性问题。

不过,Corbenic并非第一个入席者。在KV缓存卸载这张圆桌旁,LMCache、Nvidia和Phison早已落座。

竞争者的分布本身就说明问题。LMCache从缓存软件一侧切入,Nvidia从加速器层切入,Phison从存储控制器切入——这意味着这位比利时新来者在GPU与硬盘之间的每一跳上都可能撞见对手。它的差异化在于把精确复用与加密配成对,并套用在许多运营者已在生产环境运行的开源框架上。

对AI基础设施买家而言,Galahad是SSD被更广泛重新定位进程中的一个数据点:从大容量存储变为影响推理经济学的内存层级。Corbenic对其14倍数字来源的坦率,为整个品类提供了一把有用的标尺。任何在此掂量厂商主张的运营者都应追问同一个问题——加速里有多少来自更聪明的缓存,又有多少来自硬件本身?


相关阅读


萬安算交所 AIXX · 萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅