Liquid AI, 74M 스트리밍 음성 코덱 LiquidCodec 공개…단일 CPU 스레드 인코딩 약 361배 실시간
Liquid AI가 약 7,400만 파라미터의 스트리밍 음성 코덱 LiquidCodec을 공개했으며 가중치는 Hugging Face에 공개됐다. LFM3-Audio-2B와 LFM3-Omni-2B의 Mimi를 대체하는 용도다. 제조사 자체 보고로 단일 CPU 스레드에서 약 361배 실시간 인코딩, 8개 테스트 세트에서 최고 ViSQOL과 최저 mel 거리를 기록했다고 한다.
주요 변화
MarkTechPost의 2026년 11월 12일 보도에 따르면 Liquid AI는 약 7,400만 파라미터(모델 카드 표기 73.6M)의 스트리밍 음성 코덱 LiquidCodec을 공개했고 가중치는 Hugging Face에 게시됐다. 이 코덱은 LFM3-Audio-2B와 LFM3-Omni-2B에 쓰이며, LFM2-Audio-1.5B에 사용됐던 Kyutai의 Mimi(9,620만 파라미터)를 대체한다. 보도에 따르면 24 kHz 오디오를 12개 토큰 스트림으로 압축하며, 12.5 Hz 프레임레이트에서 80밀리초 프레임마다 12개의 이산 토큰에 대응한다. 과정은 인코딩, 양자화, 디코딩 순이다. 인코더는 완전 인과적이어 스트리밍에 적합하고, 양자화는 잔차 벡터 양자화(RVQ) 대신 그룹 유한 스칼라 양자화(GFSQ)를 써서 12개 코드북이 서로 독립적이며 MaskGIT 스타일 트랜스포머로 병렬 예측할 수 있다. 디코더는 스펙트럼 계수를 직접 예측해 학습식 전치 컨볼루션 업샘플링을 건너뛴다. 훈련은 두 단계다. 1단계는 107개 언어, 264,000시간 음성으로 파형과 스펙트럼 손실만 적용하고, 2단계는 55,000시간 전대역 음성에서 적대적 판별기로 미세 조정해 1단계의 금속성 아티팩트를 없앴다고 Liquid AI는 밝혔다. 마지막으로 엣지 추론을 겨냥한 디코더 전용 양자화 인식 훈련(QAT)이 이어진다. 속도는 Liquid AI 자체 보고로 애플 M4 Max 노트북의 CPU 스레드 하나에서 FP32로 인코딩 약 361배 실시간(인코딩 RTF 0.0028, Mimi 0.0361), 디코딩 약 87배 실시간(디코딩 RTF 0.0115, Mimi 0.0329)이다. 품질은 보도에 따르면 LiquidCodec이 8개 테스트 세트에서 최고 ViSQOL과 최저 mel 거리를 기록했고, LibriSpeech ViSQOL은 4.319로 NanoCodec 4.219, X-Codec 2 4.119, Mimi 4.031보다 높다. 데이터, 아키텍처, 연산을 고정한 TTS 비교에서는 8개 세트 모두 UTMOSv2가 가장 높았고 LibriSpeech WER은 3.15%(Mimi 6.27%)였다. 배포는 Hugging Face Transformers에서 trust_remote_code=True로 로드하고 encode()와 decode()로 오디오 인코딩과 파형을 얻으며, 네이티브 LiquidCodecStreamingCache가 청크 단위 디코딩을 지원한다. 모델 카드 예시는 CUDA와 bfloat16을 쓴다. 엣지용으로 llama.cpp를 겨냥한 Q4_0, Q4_K_M, Q8_0 GGUF 버전이 LFM3-Audio-2B와 LFM3-Omni-2B의 GGUF 저장소와 함께 배포되며, 보도에 따르면 Q4_0와 디코더 전용 QAT를 조합하면 디코더 점유가 3.5배 줄고 LibriSpeech ViSQOL은 4.319에서 4.292로만 낮아진다.
개발자에게 미치는 영향
가장 직접적인 영향은 토큰 배치가 바뀐다는 점이다. 보도의 12.5 Hz 프레임레이트와 12개 코드북으로 계산하면 초당 오디오는 약 150개 이산 토큰에 해당한다(보도 데이터로 계산한 것이며 제조사 표현은 아니다). 즉 Mimi 토큰으로 훈련된 TTS나 음성 언어 모델은 코덱을 핫스왑 가능한 부품으로 다룰 수 없다. 어휘 규모, 코드북 수, 프레임별 토큰 시퀀스가 모두 다르므로 Mimi 토큰으로 미세 조정한 체크포인트는 말뭉치를 다시 토크나이즈하고 출력 헤드를 재훈련해야 하며, 그렇지 않으면 같은 백본에서 뚜렷한 품질 저하가 나타난다. GFSQ의 독립성은 디코더 측 설계 공간을 바꾼다. RVQ에서 흔한 코드북 간 지연 패턴이 여기서는 필수가 아니며, 음성 언어 모델이 12개 코드북을 병렬 예측할 수 있어 프레임당 디코딩 스텝 수가 크게 줄어들 수 있다. 대신 모델 측에 그룹별 병렬 예측 헤드 구조가 필요하고 코드북별 자기회귀 방식은 쓸 수 없다. CPU 쪽 RTF 데이터는 서비스 토폴로지에 영향을 준다. 보도대로 CPU 스레드 하나에서 인코딩 약 361배, 디코딩 약 87배 실시간이라면 대상 하드웨어에서 이 규모가 대체로 성립할 경우 코덱이 반드시 GPU를 차지하지 않아도 되므로 GPU를 언어 모델에 남기고 동시 스트림 수를 CPU 코어 수로 결정할 수 있다. 다만 이 수치는 M4 Max 노트북 FP32 단일 스레드에서 나온 제조사 자체 보고이므로 서버 CPU와 실제 샘플레이트가 섞인 부하로 옮길 때는 직접 재측정해야 한다. 스트리밍 지연에서는 인코더가 완전 인과적이라고 설명되지만 디코더의 인과성 출처는 공개되지 않았고, 모델 카드가 청크 단위 디코딩 캐시를 제공해도 청크 크기와 첫 소리 지연은 가정이 아니라 실측이 필요하다. 품질 트레이드오프도 한쪽으로만 기울지 않는다. 보도는 NanoCodec이 8개 테스트 세트 중 7개에서 PESQ(WB)가 더 높고 LibriSpeech 화자 유사도에서 SECS 0.836 대 0.785로 앞선다고 명시한다. 따라서 '최고'는 특정 지표에서만 성립하며 화자 정체성 유지가 제품 목표라면 결론이 반대일 수 있다. 마지막으로 가중치가 Hugging Face에 공개된 것이 허술한 라이선스를 뜻하지는 않는다. 보도에 따르면 모델 페이지는 other로 표기되고 블로그는 LFM 라이선스를 가리키므로 상용화 전에 조항을 직접 확인해야 한다. LiquidCodec 자체는 대화 모델이 아니라 코덱이므로 텍스트나 추론 요청의 접속 방식을 바꾸지 않는다. 바뀌는 것은 음성 입출력 구간의 토큰 계약, 훈련 자산, 지연 예산이다.
연동 및 평가 제안
아래는 모두 제안과 조건부 분석이며 제조사 선언이 아니므로 자체 데이터와 하드웨어에서 검증해야 한다. 결정 1: 기존 음성 자산을 이전할지. 관련 보도 변화는 LFM3-Audio-2B와 LFM3-Omni-2B가 Mimi를 LiquidCodec으로 교체한 것이다. Mimi 토큰으로 모델을 훈련한 팀은 코덱 교체를 토크나이저 이전으로 일정에 잡아야 하며(재토크나이즈와 언어 모델 헤드 적응 또는 재훈련), 신규 프로젝트는 LiquidCodec 토큰에서 바로 시작할 수 있다. 이 선택을 바꾸는 전제는 Mimi 어휘와 코드북 배치에 묶인 훈련된 체크포인트나 캐시 데이터가 있는지다. 재사용할 토큰 수준 자산이 없으면 비용은 평가 수준으로 낮아진다. 측정 가능한 수용 기준은 고정된 홀드아웃 오디오 세트와 동일 백본, 동일 훈련 설정에서 이전 전후 TTS WER/CER과 UTMOSv2를 비교하고 코덱 왕복 ViSQOL도 한 번 측정해 하락 폭이 자체 출시 임계값 안에 드는지 확인한 뒤 진행하는 것이다. 결정 2: 코덱을 CPU에 둘지 GPU에 둘지, 그리고 양자화할지. 관련 보도 변화는 단일 CPU 스레드에서의 자체 보고 속도, llama.cpp용 Q4_0/Q4_K_M/Q8_0 GGUF, 디코더 전용 QAT(디코더 점유 3.5배 감소, ViSQOL 4.319→4.292)다. 선택은 코덱을 CPU 스레드에 두고 디코더를 양자화할지, 모델 카드 예시대로 CUDA bfloat16 경로를 쓸지다. 이 선택을 바꾸는 전제는 동시 스트림 수, 대상 기기 메모리 상한, 첫 소리 지연과 재구성 품질 중 무엇에 더 민감한지다. 고동시성·메모리 제약 엣지는 전자, 최고 재구성 품질과 최저 단일 스트림 지연은 후자에 맞다. 측정 가능한 수용 기준은 종단 간 첫 청크/첫 소리 지연, 코어당 안정적으로 감당하는 동시 스트림 수, 양자화 후 디코더 실제 메모리 점유, 자체 오디오의 ViSQOL과 mel 거리이며, 양자화 후 지표가 임계값을 넘으면 더 높은 정밀도 단계로 되돌린다. 결정 3: 코덱 선택을 어떤 지표로 결정할지. 관련 보도 변화는 LiquidCodec이 8개 테스트 세트 전부에서 ViSQOL과 mel 거리가 최고이고 TTS UTMOSv2도 최고지만 PESQ(WB)에서는 7 대 1로 NanoCodec에 뒤지고 화자 유사도 SECS도 0.785 대 0.836으로 뒤진다는 점이다. 선택은 제품이 내용 충실도와 명료도에 더 무게를 두는지 화자 정체성 유지에 두는지 정하고 그에 따라 주 지표를 정하며 필요하면 NanoCodec을 대조 기준으로 남기는 것이다. 이 선택을 바꾸는 전제는 업무가 더빙, 복제, 화자 구분을 포함하는지다. 순수 전사 후처리는 SECS에 둔감하지만 인물 음색형 제품은 매우 민감하다. 측정 가능한 수용 기준은 자체 화자 세트에서 SECS, PESQ(WB), 단어 오류율을 함께 측정해 총점 하나가 아니라 지표별 독립 임계값으로 판정하는 것이다.
제한과 확인할 사항
보도의 모든 속도와 품질 수치는 Liquid AI 자체 측정이며, 속도는 애플 M4 Max 노트북 단일 CPU 스레드 FP32에서 측정됐고 8개 테스트 세트도 제조사가 선정한 것으로, 모두 제3자 독립 재현이 없다. 출처는 LiquidCodec의 비트레이트를 밝히지 않았고 디코더가 완전 인과적인지도 공개하지 않았으므로 대역폭 계획과 스트리밍 디코딩 지연 하한은 보도만으로 도출할 수 없고 실측해야 한다. 표와 벤치마크 사이에 기준 차이가 하나 있다. 특성 표는 Mimi를 1.1 kbps에서 8개 코드북으로 표기하지만 벤치마크 각주는 Mimi를 12개 코드북으로 측정했다고 하므로 표 간 비교 전에 비교 가능성을 확인해야 한다. 가중치가 Hugging Face에 공개된 것이 라이선스가 허술하다는 뜻은 아니며, 모델 페이지는 other로 표기되고 블로그는 LFM 라이선스를 가리키며 훈련 데이터 출처와 재배포 조항도 보도에서 다뤄지지 않았으므로 상용 및 재배포 전에 직접 확인해야 한다. LiquidCodec은 현재 KimiSeek 모델 카탈로그에 없으며 이 버전은 KimiSeek에 등재되지 않았다. 보도에 관련된 가중치와 저장소는 Liquid AI의 Hugging Face 배포 채널에 속하며 가용성은 제조사 기준이고, 이 글은 이 사이트에서의 접속 상황을 추론하지 않는다. 또한 보도는 중국어 음성이나 중국어 환경에서의 코덱 왕복 품질 전용 결과를 다루지 않았고, 8개 테스트 세트에 보통화 세트가 포함돼 있지만 별도 수치는 제시되지 않았으므로 중국어 음성 제품을 겨냥한 팀은 자체 보충 측정을 해야 한다.