← 전체 모델 소식

화중과기대·호라이즌, Multimodal Flow 제안: 언어와 시각이 하나의 Flow 목표를 공유, 1.6B MF-1 자체 보고로 혼합형·완전 이산 아키텍처 능가

지치신(机器之心)이 2026년 11월 5일 보도한 바에 따르면, 화중과기대 왕싱강 팀과 호라이즌 등 기관이 Multimodal Flow를 제안했다. 언어와 시각이 각각 연속 임베딩을 유지하면서 동일한 Flow Matching 목표를 공유하는 방식이다. 1.6B 규모의 MF-1은 처음부터 사전학습했고 150B 토큰만 소비했으며, 보도에 따르면 동일 데이터·파라미터 예산의 통제 비교에서 GenEval, GQA, VQAv2, MMBench 등 지표에서 혼합형 및 완전 이산 아키텍처를 앞섰다.

게시 수정

주요 변화

지치신(机器之心)이 2026년 11월 5일 보도한 바에 따르면, 화중과기대 왕싱강 팀과 호라이즌 로보틱스 등 기관이 협력해 Multimodal Flow를 제안하며 언어와 시각을 연속 임베딩 공간에서 통합 모델링하자고 주장했다. 보도는 기존 접근을 두 갈래로 정리한다. 완전 이산 노선(Chameleon, Emu3 등)은 이미지를 이산 토큰으로 양자화해 언어와 이어 붙여 자기회귀 방식으로 처리하는데, 시각 토크나이저의 한계로 고주파 디테일이 양자화 과정에서 쉽게 손실된다. 혼합 이산-연속 노선(Transfusion, JanusFlow 등)은 텍스트는 이산 예측, 이미지는 연속 확산으로 처리하지만 두 개의 목적 함수와 샘플링 절차를 동시에 유지해야 해 공동 최적화가 더 어렵다. Multimodal Flow는 양쪽이 각자의 원래 연속 임베딩을 유지하되 동일한 Flow Matching 목표를 공유하게 한다. 팀은 주 모델 MF-1을 구현했다. 1.6B 파라미터, 처음부터 사전학습, 150B 토큰만 소비. 보도가 제시한 수치는 GenEval 종합 0.821, DPG-Bench 장문 프롬프트 정렬 83.44, GenEval 카운팅 차원 0.73이고, 이해 쪽은 VQAv2 72.6, MMBench 67.2, POPE 86.1로 세 항목 평균 75.3이다. 동일 데이터, 동일 파라미터 예산, 동일 최적화 설정의 통제 비교에서 GenEval, GQA, VQAv2, MMBench에서 Transfusion식 혼합 아키텍처와 Chameleon식 완전 이산 아키텍처를 모두 앞섰다고 보도했다. 구조적으로 텍스트는 8개 토큰마다 한 블록으로 묶여 동결된 T5-small로 인코딩되어 텍스트 슈퍼블록이 되고, 이미지는 동결된 SigLIP2로 16×16 공간 그리드 특징을 추출해 시각 슈퍼블록을 이룬다. 둘은 작업 순서에 따라 멀티모달 시퀀스로 배열되어 공유 Chunk-Causal Flow 백본에 입력된다. 어텐션은 Chunk-Causal 마스크를 쓴다. k번째 슈퍼블록을 예측할 때 앞선 슈퍼블록은 전부 보이고, 현재 블록 내 위치는 공동 모델링되며, 미래 슈퍼블록은 가려진다. 어텐션 레이어는 공유하고 FFN은 모달리티별로 분리한다. 학습 시에는 여러 목표 슈퍼블록을 병렬로 예측하고 각각 Flow 타임스텝을 독립적으로 샘플링하며, 추론 시에는 블록을 순차 생성하고 완료된 슈퍼블록의 KV 캐시를 재사용한다. 슈퍼블록 배열 순서와 목표 방향을 바꾸면 동일한 파라미터 세트로 텍스트 생성, 문장→이미지, 이미지→문장, VQA 사이를 전환할 수 있다. 보도는 두 가지 소거 실험도 전했다. 시각 표현에서는 SigLIP2, DINOv2 같은 의미 특징이 생성과 묘사 작업 전반에서 FLUX.2 VAE, SD-VAE 잠재변수, 원본 픽셀보다 우수했다. 동일한 CFG가 텍스트와 이미지에 동시에 작용할 수 있으며, 이미지→문장의 최적 가이던스 스케일은 약 3, 문장→이미지는 약 5였다. 전이 측면에서는 혼합 사전학습 후 미세조정이 무작위 초기화에서 바로 미세조정하는 것보다 GenEval 0.527→0.821, SEED-Bench 31.6→62.4, MMBench 36.0→67.2로 개선됐다. 팀은 향후 더 긴 교차 이미지-텍스트 시퀀스, 비디오 및 기타 구조화 모달리티로 확장할 계획이라고 밝혔으며, 보도에는 논문 주소와 GitHub 코드 저장소 링크도 함께 실렸다.

개발자에게 미치는 영향

이 노선이 개발자에게 주는 직접적 의미는 '또 하나의 강력한 모델이 생겼다'가 아니라 아키텍처 층위에 있다. 혼합형 방식은 같은 학습 스택 안에서 확산과 자기회귀 두 손실, 두 샘플링 코드를 함께 유지해야 해 엔지니어링 복잡도와 튜닝 면적이 크다. 완전 이산 방식은 생성 품질의 일부를 시각 토크나이저에 걸어둔다. 보도가 묘사한 방식은 둘을 하나의 Flow 목표로 합쳐 유지해야 할 목적 함수 수를 줄이고, 작업 전환도 슈퍼블록 순서를 바꾸는 일로 퇴화시킨다. 이런 단순화를 자기 코드에 옮겼을 때 아끼는 것은 주로 데이터 파이프라인과 샘플링 로직의 복잡도이지 연산량이 아니다. 두 번째 구체적 영향은 프런트엔드 인코더의 역할이 달라진다는 점이다. 보도의 설계는 T5-small과 SigLIP2를 동결하고 모델이 슈퍼블록 간 Flow만 학습하게 한다. 이는 텍스트나 시각 인코더를 바꾸면 입력 분포의 통계적 특성이 직접 달라진다는 뜻이고, 소거 결과는 의미 기반 시각 특징이 재구성형 VAE 잠재변수보다 통합 생성 모델에 더 적합함을 시사한다. 픽셀 수준 고충실도 재구성이 필요한 장면이라면 보도의 증거를 그대로 외삽할 수 없다. 세 번째는 추론 형태다. 블록 단위 생성에 KV 캐시 재사용을 더한 방식은 순수 자기회귀 디코딩이나 확산 샘플링과 완전히 같지 않아 배치 처리, 캐시 관리, 스트리밍 출력을 다시 설계해야 한다. 보도는 처리량, 메모리, 지연 수치를 제시하지 않았고 1.6B 규모도 현재 주류 통합 모델보다 작아, 더 큰 규모에서의 가성비를 판단하기엔 이르다. 이상은 모두 보도 내용에 대한 엔지니어링 해석이며 방식에 대한 독립적 검증이 아니다. MF-1의 벤치마크 수치는 팀 자체 보고이고, 통제 비교의 베이스라인도 팀 자체 학습 설정에서 돌린 것이다.

연동 및 평가 제안

다음 세 가지는 보도에 기반해 추론한 조건부 제안이며 검증된 결론이 아니다. 1) 이 골격으로 자체 통합 멀티모달 학습 스택을 다시 지을지. 보도가 주장하는 변화는 혼합형의 이중 목표를 하나의 공유 Flow Matching 목표로 대체하고 통제 예산에서 혼합형·완전 이산 베이스라인을 앞섰다는 것이다. 선택지는 신규 프로젝트에 Chunk-Causal Flow + 공유 어텐션 + 모달리티별 FFN 구조를 바로 채택할지다. 전제는 입력 측에 동결 가능한 의미 인코더가 이미 있고, 하류 지표가 이미지-텍스트 생성과 이해를 함께 본다는 것이다. 순수 텍스트 품질만 본다면 보도는 이를 다루지 않았다. 측정 가능한 검증 방식은 같은 규모 사다리를 재현하는 것이다. 0.6B, 1.2B, 1.6B 세 단계를 학습해 Flow 목표 손실과 언어 PPL이 함께 내려가는지, GenEval과 이미지→문장 CLIPScore가 규모에 따라 오르는지 본다. 네 곡선이 같은 방향이 아니면 이 목표가 해당 데이터에서 성립하지 않는다는 뜻이다. 2) 시각 프런트엔드로 의미 특징을 쓸지 재구성형 잠재변수를 쓸지. 보도의 소거 결론은 같은 학습 예산에서 SigLIP2, DINOv2가 FLUX.2 VAE, SD-VAE 잠재변수, 원본 픽셀보다 우수하다는 것이다. 선택은 의미 인코더를 동결해 시각 슈퍼블록으로 쓸지, 계속 VAE 잠재변수에 확산 헤드를 붙일지다. 전제는 대상 작업이 생성과 묘사 중심이라는 점이며, 재구성 충실도가 우선이면 이 결론을 그대로 적용할 수 없다. 측정 가능한 방법은 같은 예산에서 A/B를 하는 것이다. GenEval 종합 점수와 묘사 계열 CLIPScore를 주 지표로 하고 재구성 오차를 교차 확인용으로 추가해, 후자가 뚜렷이 나빠지면 다시 저울질해야 한다. 3) 가이던스 메커니즘을 어떻게 구성할지. 보도에 따르면 동일한 CFG가 텍스트와 이미지 양방향에 작용할 수 있고 이미지→문장 최적 스케일은 약 3, 문장→이미지는 약 5다. 선택은 두 방향에 각각 가이던스 구현을 유지하지 않고 하나의 CFG에 작업별 스케일을 설정하는 것이다. 전제는 학습 목표가 실제로 통합 Flow이고 두 개의 독립 헤드가 아니라는 점이다. 측정 가능한 검증은 스케일을 훑는 것이다. 이미지→문장은 3 근처, 문장→이미지는 5 근처에서 정렬 계열 지표(예: DPG-Bench)의 피크를 잡고, 스케일을 올릴 때 다양성이나 일관성의 비용을 함께 기록해 피크가 다른 항목을 희생한 결과가 아님을 확인한다. 한 가지 더 기본적인 것. 투자 전에 가중치와 라이선스를 먼저 확인해야 한다. 보도에 첨부된 것은 논문과 코드 저장소이며, 가중치 공개 여부와 어떤 라이선스로 공개하는지는 보도가 밝히지 않았다.

제한과 확인할 사항

본문에서 다룬 MF-1과 Multimodal Flow는 KimiSeek 현재 모델 카탈로그에 해당 항목이 없으며, 해당 버전은 현재 KimiSeek에 올라와 있지 않다. 보도는 어떤 호스팅 API도 언급하지 않았으므로 가리킬 수 있는 벤더 API 가용성 진술은 없다. 이후 호스팅 서비스가 등장한다면 그 가용 범위와 과금은 벤더 설명과 사이트 가격 페이지를 기준으로 한다. 추가 제한 몇 가지. 보도의 표현은 '오픈소스 코드'이고 첨부된 것은 코드 저장소로, 모델 가중치 공개 여부나 라이선스 조항은 밝히지 않았다. 코드 확보는 가중치 개방과 같지 않고, 오픈소스 라이선스를 얻은 것과도 같지 않다. 본문의 모든 벤치마크 수치, 소거 결론, 통제 비교 결과는 팀 자체 보고와 보도 전달에 기반하며 본문은 이를 독립 재현하지 않았다. 베이스라인 수치 역시 팀 자체 학습 설정에서 나온 것이다. 1.6B 파라미터, 150B 토큰 규모는 현재 주류 통합 모델보다 분명히 작고, 보도 자체도 이를 출발점이라고만 부른다. 규모를 더 키웠을 때 결론이 유지될지는 알 수 없다. 보도는 추론 처리량, 메모리 사용량, 비용 데이터를 제시하지 않아 KV 캐시 재사용의 실제 가속 폭을 판단할 수 없다. 비디오와 긴 교차 시퀀스 같은 모달리티는 향후 계획에만 등장하며 아직 결과가 없다.

3분이면 첫 호출까지

가입 후 API 키를 만드세요. 호출 비용은 계정 잔액에서 차감됩니다. 첫 충전 30% 할인. ¥500 충전, 결제 ¥350, 잔액 ¥500 적립. ¥1000 충전, 결제 ¥850, 잔액 ¥1000 적립 최소 충전 금액은 그대로 ¥10이며, 시험용으로 사용할 수 있습니다.

출처와 편집 과정

不做Token化,也不搞双系统!多模态模型有了第三条路

인용한 출처를 바탕으로 AI가 분석과 번역을 돕고 자동 품질 검사를 수행합니다. 제안은 실측 결과가 아닙니다. 제공 여부와 가격은 현재 카탈로그를 확인하세요.