2026-11-13 · 来源:MarkTechPost

谷歌云开源C++库TPU Sync,把TPU显存、主机内存与数据中心网络当统一内存层级搬运KV缓存,官方测试称传输开销降超90%。
谷歌云开源了C++库TPU Sync(Apache 2.0许可,附PyTorch与JAX的Python wheel)。它要解决的是大模型推理中搬状态比算更难的瓶颈:把TPU HBM、主机DRAM、共享存储与数据中心网络当作一个统一内存层级,负责搬运KV缓存与模型权重;其上还有全局KV存储(前缀查找)、传输控制器与KV缓存管理器,并实验性支持向采样器广播训练权重以服务强化学习。
设计上有四个关键选择:一是布局保持的直接DMA,原地读写JAX PJRT缓冲与PyTorch张量、保留TPU原生tile布局,无需序列化与中转缓冲;二是传输与计算重叠,借助PJRT缓冲别名让拷贝在计算期间进行,DMA节流防止大拷贝阻塞内核启动;三是数据路径完全不经过XLA编译,传输与重分片都在XLA图之外的原生C++里完成;四是高带宽通道,单台Ironwood主机PCIe实测最高223GB/s(逼近256GB/s的PCIe Gen5理论上限),数据中心网络单网卡流约192Gbps、双卡约350Gbps。
典型场景是分离式预填充与解码(P/D)推理:预填充节点把KV块异步DMA进钉住的主机内存,控制器再逐主机流向解码节点,抵达的块边解码边写入解码节点HBM;同时支持64K上下文前缀缓存,当MoE权重占满HBM时,有效缓存容量可提升一个数量级。
官方自报数据(2026年7月内部测试,TPU v7x 2x2x1拓扑,235B至480B MoE模型):KV传输开销下降超过90%,Qwen3 235B的中位KV传输延迟从数秒级降到约230毫秒;低并发下首token延迟(TTFT)平均下降60%(235B)与90%(480B);流量高峰期235B输出吞吐提升30%至70%;前缀缓存让64K上下文TTFT最多降90%、吞吐升50%以上、P99令牌间延迟降30%。
生态位上,TPU Sync已是vLLM-TorchTPU的KV连接器,也是SGLang-TorchTPU的P/D传输与分层缓存I/O后端;GKE上的llm-d 1.0用它做前缀缓存亲和路由并实验性溢写到Managed Lustre;Inferact与RadixArk参与了vLLM与SGLang侧共建,Meta与Wayfair正在评估。运行环境要求Cloud TPU v7x(Ironwood)或v6e,源码在GitHub的google/tpu-sync仓库;注意没有托管API,README尚未推荐通用场景使用,且全部数字为官方自报。
萬安算交所 AIXX · 萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅