Kyutai, CADRE 비디오 오토인코더 공개: 월드 모델 동작 지연 230밀리초 이하로 단축, 가중치는 상업적 사용 금지
MarkTechPost가 2026년 10월 23일 보도한 바에 따르면 Kyutai가 CADRE 인과 확산 표현 오토인코더를 공개했으며, 논문은 이 월드 모델이 단일 H100에서 20 fps로 실행되고 185~216밀리초 내에 응답한다고 밝혔다. 코드는 MIT이지만 Hugging Face 가중치는 CC BY-NC 4.0으로 상업적 사용을 배제하며, 출처는 로봇 조작 동작 추종 등의 단점도 함께 제시했다.
주요 변화
MarkTechPost가 2026년 10월 23일 보도한 바에 따르면 Kyutai가 CADRE, 즉 동작 조건부 상호작용형 월드 모델을 위한 비디오 오토인코더 모음을 공개했다. 핵심 문제 설정은 다음과 같다. 대부분의 월드 모델이 텍스트-비디오 생성의 오토인코더를 그대로 사용해 여러 프레임을 하나의 잠재 변수에 묶어 넣기 때문에 각 동작마다 대기해야 한다. 압축률은 τ×s×s로 표기하며, τ는 잠재 변수 하나에 대응하는 프레임 수, s는 공간 인자이고, 논문이 제시한 지연은 τ/f에 생성 및 디코딩 시간을 더한 값이다. CADRE 인코더는 MIRA 방식을 재사용한다. 동결된 DINOv3가 패치별 특징을 추출하고, 훈련된 3D 합성곱이 이를 64채널 잠재 변수로 압축하며, 7개 구성원 사이에서는 이 병목만 바뀐다. 디코더는 24개 블록을 포함한 인과 확산 트랜스포머로, 블록 단위로 스트리밍 처리하며 점진적 자기 증류를 통해 1단계 또는 2단계 디코딩을 학습한다. 출처는 오토인코더가 웹, 로봇, 주행, 게임 영상을 아우르는 23개 공개 비디오 출처의 약 7만 6천 시간 분량으로 훈련되었다고 밝혔다. 보고된 데이터에 따르면 CADRE-2×32×32는 단일 H100, bf16, batch 1 환경에서 185밀리초로 응답하며 23.4 fps를 유지하고, CADRE-2×16×16은 216밀리초이다. 대조군으로 Wan 2.2 오토인코더는 317밀리초, LTX-2는 492밀리초, Cosmos는 605밀리초이며, DC-AE는 더 빠르지만 프레임 단위로 처리한다. 이 수치와 비교는 모두 Kyutai가 자체 보고한 것이며 독립적으로 재현되지 않았다.
개발자에게 미치는 영향
개발자에게 미치는 실질적 영향은 세 가지 층면에 집중된다. 첫째는 지연 예산 구성의 변화이다. CADRE는 τ=8 시나리오에서 수백 밀리초에 달하던 블록 대기를 τ=2 수준으로 줄였는데, 이는 20 fps, 인간이 인지할 수 있는 230밀리초 임계값이라는 제약 아래에서 원래 블록 지연에 잡아먹히던 예산을 컨트롤러나 렌더링 단계로 돌려줄 수 있다는 뜻이며, 동작 추종에 민감한 상호작용형 시뮬레이션과 로봇 재생 평가에 적합하다. 둘째는 압축률이 명시적으로 조정 가능한 변수가 되었다는 점이다. 7개 오토인코더는 병목 하나만 다르며, 출처는 48개 비교 중 42개에서 속도가 비슷하고 품질이 더 우수하다고 밝혔으므로, 개발자는 단일 비디오 VAE의 고정 압축을 받아들이는 대신 공간 인자와 시간 인자를 독립적인 손잡이로 다룰 수 있다. 셋째는 라이선스와 배포 제약이다. 코드는 MIT이지만 가중치는 CC BY-NC 4.0이며, 출처는 상업적 사용을 배제한다고 명확히 밝혔으므로 상업용 제품은 방법만 참고하거나 자체 훈련해야 하고 가중치를 직접 배포할 수 없다. 출처는 또한 각 월드 모델이 288×512로 단일 환경만 커버하며 범용 모델의 전이성은 아직 검증되지 않았다고 지적한다. 긴 잠재 변수는 블록 사이에 눈에 띄는 이음새를 남기며, τ=8일 때 경계 초과가 1.6~1.8에 달한다. 이는 모두 출처가 보고한 연구 결론이다.
연동 및 평가 제안
다음은 출처 정보에 기반한 조건부 분석이며 검증된 사실이 아니다. 첫 번째 결정: 작업 부하가 정지 또는 저속 카메라 장면이라면 τ가 더 높고 공간 인자가 더 거친 구성처럼 시간 압축이 더 큰 구성원을 우선 고려할 수 있다. 카메라가 빠르게 움직인다면 프레임 수가 더 적고 공간 인자가 더 큰 구성으로 전환해야 하는데, 출처는 움직이는 카메라가 후자를 더 선호한다고 밝혔고 주행 장면에서 CADRE의 FVD가 Wan 2.2보다 뚜렷하게 우수하다. 전제는 평가 세트가 배포 장면과 일치하는 카메라 운동 패턴을 포함한다는 것이며, 측정 가능한 판단 기준은 재구성 PSNR만 보는 것이 아니라 동일한 홀드아웃 세트에서 동작 추종 지표 ARR 또는 주행 FVD가 설정한 임계값에 도달하는지 여부이다. 두 번째 결정: 목표가 로봇 조작류 작업이라면 CADRE가 전면적으로 우세하다고 가정하지 말아야 하는데, 출처는 로봇 조작에서 CADRE-2×32×32의 ARR이 0.45인 반면 Wan 2.2는 0.85이고 Cosmos의 FVD도 더 낮다고 밝혔다. 이 경우 먼저 로컬 로봇 조작 데이터에서 후보 구성원에 대한 단거리 롤아웃 비교를 수행하고, 판단 기준은 ARR이 기준선 대비 하락하지 않으면서 지연이 예산 내에 유지되는 것이며, 충족하지 못하면 다른 오토인코더나 혼합 방식을 유지한다. 평가 절차에서는 출처가 설명한 흐름을 재현할 것을 권한다. 먼저 2초 실제 비디오를 입력한 뒤 약 4.8초를 생성하고, 동시에 동결된 역동역학 프로브로 ARR을 계산하며, 블록 경계에 눈에 띄는 이음새가 나타나는지 확인하는데 이음새는 τ가 클 때 더 뚜렷하다. 월드 모델을 자체 훈련할 계획이라면 출처의 12억 파라미터 인과 확산 트랜스포머가 각 오토인코더별로 따로 훈련된다는 점에 유의해야 한다. 오토인코더를 교체한다는 것은 인코더만 바꾸면 되는 것이 아니라 하위 모델을 다시 훈련해야 한다는 뜻이다. 상업적 도입 전에는 가중치 라이선스 조항을 직접 확인하고, 필요하면 Apache 2.0 등 관대한 라이선스의 오토인코더로 전환해야 한다.
제한과 확인할 사항
출처의 지연, fps, FVD, ARR, PSNR 및 비교 결론은 모두 Kyutai가 자체 보고한 것이며, 이 글은 독립적으로 재현하지 않았고 어떠한 테스트도 수행하지 않았다. 양자화 버전은 공개되지 않았고 출처는 bf16, batch 1의 단일 H100 데이터만 제시하므로, 실제 배포에서의 VRAM 점유, 다중 배치 처리량, 양자화 후 정확도 손실은 모두 알 수 없다. 출처는 가중치가 CC BY-NC 4.0으로 상업적 사용을 배제하고 코드는 MIT라고 명확히 밝혔으며, 두 라이선스가 다르므로 혼동해서는 안 된다. 출처는 또한 각 월드 모델이 하나의 환경만 커버하며 결론이 범용 모델로 전이될 수 있는지는 아직 답이 필요하고, CADRE가 로봇 조작 동작 추종에서 Wan 2.2보다 약하다고 밝혔다. 밝혀둘 점은 CADRE 이 버전이 현재 KimiSeek 실시간 카탈로그에 나타나지 않으며, 출처가 언급한 Hugging Face 다운로드와 온라인 데모는 모두 Kyutai 자체 채널로 본 사이트와 무관하다는 것이다. 향후 도입이나 가격 변동이 있으면 사이트 내 가격 페이지를 기준으로 해야 한다.