Liquid AI 发布 LiquidCodec:74M 流式语音编解码器,单 CPU 线程编码约 361 倍实时
Liquid AI 发布约 7400 万参数的流式语音编解码器 LiquidCodec,权重已在 Hugging Face 放出,用于替换 LFM3-Audio-2B 与 LFM3-Omni-2B 中的 Mimi。厂商自报单 CPU 线程编码约 361 倍实时,并在 8 个测试集上取得最佳 ViSQOL 与最低 mel 距离。
发生了什么
据 MarkTechPost 2026 年 11 月 12 日的报道,Liquid AI 发布了 LiquidCodec,一款约 7400 万参数(模型卡标注 73.6M)的流式语音编解码器,权重已发布在 Hugging Face 上。它服务于 LFM3-Audio-2B 与 LFM3-Omni-2B,并取代 Kyutai 的 Mimi——后者为 9620 万参数,曾用于 LFM2-Audio-1.5B。报道称该编解码器把 24 kHz 音频压成 12 条 token 流,12.5 Hz 帧率下每个 80 毫秒帧对应 12 个离散 token。流程是编码、量化、解码:编码器完全因果,适合流式;量化采用分组有限标量量化(GFSQ),而不是残差矢量量化(RVQ),因此 12 个码本彼此独立,可由 MaskGIT 风格的 transformer 并行预测;解码器直接预测频谱系数,跳过学习式转置卷积上采样。训练分两阶段:第一阶段用 107 种语言、264,000 小时语音,只加波形与频谱损失;第二阶段在 55,000 小时全频带语音上用对抗判别器微调,Liquid AI 称这消除了第一阶段的金属感伪影;最后是仅针对解码器的量化感知训练(QAT),面向边缘推理。速度方面,Liquid AI 自报在苹果 M4 Max 笔记本的一个 CPU 线程上以 FP32 测得编码约 361 倍实时(编码 RTF 0.0028,Mimi 为 0.0361),解码约 87 倍实时(解码 RTF 0.0115,Mimi 为 0.0329)。质量方面,报道称 LiquidCodec 在 8 个测试集上取得最佳 ViSQOL 与最低 mel 距离,LibriSpeech 上 ViSQOL 为 4.319,对比 NanoCodec 4.219、X-Codec 2 4.119、Mimi 4.031;在固定数据、架构与算力的 TTS 对比中,其在 8 个集合上 UTMOSv2 最高,LibriSpeech WER 为 3.15%,Mimi 为 6.27%。部署上,模型可通过 Hugging Face Transformers 以 trust_remote_code=True 加载,调用 encode() 与 decode() 取音频编码与波形,原生 LiquidCodecStreamingCache 支持逐块解码,模型卡示例使用 CUDA 与 bfloat16;边缘侧另有面向 llama.cpp 的 Q4_0、Q4_K_M 与 Q8_0 GGUF 版本,随 LFM3-Audio-2B 与 LFM3-Omni-2B 的 GGUF 仓库发布,报道称 Q4_0 配合仅解码器 QAT 可把解码器占用缩小 3.5 倍,LibriSpeech ViSQOL 仅从 4.319 降到 4.292。
对开发者的影响
最直接的影响是 token 布局变了。按报道的 12.5 Hz 帧率与 12 个码本推算,每秒音频对应约 150 个离散 token(此为据报道数据的推算,非厂商原话)。这意味着任何基于 Mimi token 训练过的 TTS 或语音语言模型都不能把编解码器当作可热插拔组件:词表规模、码本数量与逐帧 token 序列都不同,已经在 Mimi token 上微调过的检查点需要重新 tokenize 语料并重训输出头,否则会在同一骨干下出现明显质量退化。GFSQ 的独立性则改变了解码器侧的设计空间——RVQ 常用的码本间延迟模式在这里不是必需的,语音语言模型可以并行预测 12 个码本,每帧的解码步数因此可能显著减少,但代价是模型端需要一套按组并行预测的头部结构,而不是逐码本自回归。CPU 侧的 RTF 数据会影响服务拓扑:报道称单个 CPU 线程编码约 361 倍实时、解码约 87 倍实时,如果这一量级在目标硬件上大致成立,编解码器就不再必然占用 GPU,可以把 GPU 留给语言模型,并让并发流数由 CPU 核数决定;但该数字来自 M4 Max 笔记本 FP32 单线程,属于厂商自报,迁移到服务器 CPU 与真实采样率混用的负载时必须自行复测。流式延迟上,编码器被描述为完全因果,解码器因果性来源未披露,模型卡虽提供逐块解码缓存,块大小与首音延迟仍需实测而非假设。质量取舍也不是一边倒:报道明确列出 NanoCodec 在 8 个测试集中的 7 个上 PESQ (WB) 更高,并在 LibriSpeech 说话人相似度上以 SECS 0.836 对 0.785 领先,因此“最好”只成立于特定指标,若产品目标偏说话人身份保持,结论可能相反。最后,权重已在 Hugging Face 发布不等于许可宽松:报道称模型页标注为 other,博客指向 LFM 许可证,商用前需自行核对条款。LiquidCodec 本身是编解码器而非对话模型,它不改变文本或推理请求的接入方式,改变的是语音输入输出这一段的 token 契约、训练资产与延迟预算。
接入与评估建议
以下均为建议与条件性分析,不是厂商声明,需要在自己的数据与硬件上验证。决定一:是否迁移已有语音资产。对应的报道变化是 LFM3-Audio-2B 与 LFM3-Omni-2B 改用 LiquidCodec 替换 Mimi。要做出的选择是,已基于 Mimi token 训练过模型的团队应把编解码器替换按一次 tokenizer 迁移来排期(重新 tokenize 并适配或重训语言模型头部),而全新项目可直接从 LiquidCodec token 起步。改变这一选择的前提是你手上是否存在绑定 Mimi 词表与码本布局的已训练检查点或缓存数据;若没有可复用的 token 级资产,成本就降到评估层面。可衡量的验收标准是:在固定的留出音频集与同一骨干、同一训练配置下,比较迁移前后的 TTS WER/CER 与 UTMOSv2,并额外测一次编解码往返的 ViSQOL,确认降幅落在你的发布阈值内再推进。决定二:编解码器放在 CPU 还是 GPU,以及是否量化。对应的报道变化是编辑码在单 CPU 线程上的自报速度、以及面向 llama.cpp 的 Q4_0/Q4_K_M/Q8_0 GGUF 与仅解码器 QAT(解码器占用缩小 3.5 倍、ViSQOL 从 4.319 到 4.292)。要做出的选择是,把编解码器放在 CPU 线程并配量化解码器,还是沿模型卡示例走 CUDA bfloat16 路径。改变这一选择的前提是并发流数量、目标设备内存上限,以及对首音延迟与重建质量哪个更敏感;高并发、内存受限的端侧更适合前者,追求最高重建质量与最低单流延迟则更适合后者。可衡量的验收标准是:端到端首块/首音延迟、每核可稳定承载的并发流数、量化后解码器实际内存占用,以及在你自有音频上的 ViSQOL 与 mel 距离,量化后指标一旦超出阈值就回退到更高精度档。决定三:用哪个指标决定编解码器选型。对应的报道变化是 LiquidCodec 在全部 8 个测试集上 ViSQOL 与 mel 距离最佳、TTS UTMOSv2 最高,但在 PESQ (WB) 上 7 比 1 落后 NanoCodec,说话人相似度 SECS 也以 0.785 对 0.836 落后。要做出的选择是先确定产品更在意内容保真与可懂度,还是说话人身份保持,并据此选定主指标,必要时保留 NanoCodec 作为对照基线。改变这一选择的前提是业务场景是否涉及配音、克隆或说话人区分;纯转写后处理对 SECS 不敏感,人物音色类产品则高度敏感。可衡量的验收标准是在自有说话人集上同时测 SECS、PESQ (WB) 与词错误率,按各指标的独立阈值判定,而不是只看一个总分。
限制与待确认事项
报道中的所有速度与质量数字均出自 Liquid AI 自测,速度在苹果 M4 Max 笔记本单 CPU 线程 FP32 下测得,8 个测试集也由厂商选定,均未经第三方独立复现。来源未披露 LiquidCodec 的比特率,也未披露解码器是否完全因果,因此带宽规划与流式解码延迟下界无法从报道中推出,只能实测。表格与基准之间存在一处口径差异:特性表把 Mimi 标为 1.1 kbps 下 8 个码本,而基准脚注说明 Mimi 以 12 个码本测量,跨表比较时需先确认可比性。权重已在 Hugging Face 发布并不等于许可宽松,模型页标注为 other、博客指向 LFM 许可证,训练数据来源与再分发条款也未在报道中展开,商用与二次分发前需自行核对。LiquidCodec 目前没有出现在 KimiSeek 的模型目录中,这一版本未在 KimiSeek 上列出;报道涉及的权重与相关仓库属于 Liquid AI 在 Hugging Face 的发布渠道,可用性以厂商为准,本文不对其在本站的接入情况作任何推断。此外,报道未涉及中文语音或中文场景下编解码往返质量的专项结果,8 个测试集中虽含普通话集合,但没有单列数字,面向中文语音产品的团队应自行补测。