← 資訊首页 | 货源大厅

LiquidCodec发布:74M参数流式音频编解码器

2026-11-13 · 来源:MarkTechPost

LiquidCodec发布:74M参数流式音频编解码器

Liquid AI发布74M参数流式语音tokenizer LiquidCodec:编码速度较上代方案Mimi快约13倍,质量基准全面领先。

Liquid AI发布流式语音tokenizer LiquidCodec,约74M参数(模型卡标注73.6M),为其LFM3-Audio-2B与LFM3-Omni-2B两个模型提供语音编码与重建,接替上一代产品使用的Kyutai Mimi(96.2M参数)。规格上,它工作在24kHz、12.5Hz帧率,每80毫秒帧输出12个离散token(12个codebook);量化器弃用RVQ改用分组有限标量量化(GFSQ),各组相互独立,因此12个codebook可被MaskGIT式transformer并行预测。

架构与训练:对称的编码解码器由LFM3架构块构成,编码器完全因果,适合流式场景;解码器直接预测频谱系数,省去学习型转置卷积上采样。训练分三阶段:先在26.4万小时、107种语言的语音上用波形与频谱损失预训练(无对抗损失);再用5.5万小时全频带(24kHz以上)语音加对抗判别器微调,去除金属音色伪影;最后做仅针对解码器的量化感知训练,以利边缘部署。

速度成绩亮眼(官方自报,Apple M4 Max单CPU线程、FP32):编码约361倍实时(RTF 0.0028),比Mimi(0.0361)快约13倍;解码约87倍实时(RTF 0.0115),约为Mimi(0.0329)的2.9倍;对照NanoCodec与X-Codec 2同样全面领先。

质量基准覆盖8个测试集(LibriSpeech test-clean、Seed-TTS英文与中文、以及5种语言的FLEURS):重建质量上ViSQOL与mel距离全部第一,LibriSpeech ViSQOL为4.319,对比NanoCodec 4.219、X-Codec 2 4.119、Mimi 4.031;TTS对比实验中(同一TTS架构与算力、各用10.1万小时数据训练),其UTMOSv2全部居首(LibriSpeech 3.31对Mimi 2.89),LibriSpeech词错率3.15%对Mimi的6.27%。弱项在PESQ与说话人相似度:NanoCodec在8个测试集中的7个胜出。

部署与许可:可通过Hugging Face Transformers加载(需trust_remote_code=True),提供encode与decode接口及逐块流式解码缓存;llama.cpp侧有Q4_0、Q4_K_M、Q8_0三种GGUF,Q4_0解码器体积缩小3.5倍而ViSQOL仅从4.319微降至4.292。权重发布在Hugging Face的LiquidAI/Liquid-Codec仓库,许可标注为other并链接LFM License(作为对比,Mimi为CC-BY 4.0、X-Codec 2为CC-BY-NC 4.0)。


相关阅读


萬安算交所 AIXX · 萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅