연구: DeepSeek-V4-Flash의 4개 잔차 스트림 중 실제로 약 2개만 사용, 심층 혼합은 단위행렬로 퇴화
머신하트가 전재한 arXiv 논문(2026년 9월 발표)에 따르면, 연구자들은 공개된 DeepSeek-V4-Flash-0731 가중치에 대해 순전파 분석과 추론 시점 개입을 수행한 결과, mHC의 네 개 잔차 스트림 읽기/쓰기 가중치가 약 두 개의 스트림에 집중되어 있고, 22~42층의 잔차 혼합 행렬이 단위행렬에 근접하며, 심층을 단위행렬로 대체해도 여섯 개 과제의 평균 점수가 거의 변하지 않는다는 것을 발견했다.
주요 변화
해당 논문과 머신하트의 보도에 따르면, DeepSeek-V4-Flash는 Manifold-Constrained Hyper-Connections(mHC)를 사용하여 네 개의 병렬 잔차 스트림을 유지하며, 읽기/쓰기 매핑과 잔차 혼합 행렬은 모두 입력 토큰에 의해 동적으로 생성되고, 혼합 행렬은 Sinkhorn-Knopp 반복을 통해 이중 확률 행렬로 제약된다. 연구자들은 공개된 DeepSeek-V4-Flash-0731 가중치를 사용하여 C4에서 길이 1024의 시퀀스 512개를 샘플링하고, 각 서브레이어의 각 토큰에 대한 읽기/쓰기 가중치와 혼합 행렬을 기록했다. 보고서에 따르면, 읽기 매핑의 주도 스트림 일관성은 평균 0.871, 쓰기 매핑은 0.905이며, 읽기 매핑의 평균 유효 스트림 수는 1.998, 쓰기 매핑은 1.775로, 아키텍처는 네 개의 스트림을 제공하지만 일반적인 계산은 약 두 개만 사용한다. 네 스트림 간 평균 코사인 유사도는 약 0.404이며, 처음 몇 층에서 이미 표현 분화가 완료된다. 혼합 행렬과 단위행렬의 평균 절대 편차로 교차 스트림 혼합 강도를 측정했을 때, 23~42층의 40개 서브레이어 중 32개가 편차 0.01 미만이었다. 추론 시점 개입 결과: 각 토큰의 최저 가중치 읽기/쓰기 경로를 제거한 후 PPL은 최대 2.7% 상승, 여섯 개 제로샷 과제 평균 점수는 최대 0.38%포인트 하락했다. 22~42층의 혼합 행렬을 단위행렬로 대체한 후 PPL은 1.9% 상승, 평균 점수 변화는 +0.04%포인트였다. 전체 네트워크를 대체하면 PPL은 42.3% 상승, 평균 점수는 3.28%포인트 하락했다. 얕은 층을 C4 캘리브레이션 세트의 토큰 평균 행렬로 고정하면 PPL은 0.2% 상승, 평균 점수는 0.25%포인트 하락했다. 원문은 또한 텐센트 Hy4-preview의 iHC와 Qwen3.8-Flash-Next의 Gated Residual이 더 단순한 잔차 경로를 채택했다고 언급했다. 위 내용은 모두 해당 논문의 보고적 결론이며, 아직 독립적으로 재현되지 않았다.
개발자에게 미치는 영향
이러한 분석의 가치는 벤치마크 순위가 아니라 다중 스트림 잔차 아키텍처의 배포와 자체 개발 경로에 대한 의사 결정 근거를 제공하는 데 있다. 결론이 성립한다면, 읽기/쓰기의 실제 희소성은 mHC의 추론 오버헤드 중 상당 부분이 가중치가 극히 작은 경로에 소비된다는 것을 의미하며, 이는 배치 처리 시의 메모리 점유와 어텐션/FFN 연산자 융합 공간에 직접적인 영향을 미친다. 동시에 심층의 근사 항등 혼합은 해당 구간의 교차 스트림 통신이 단순화될 수 있음을 보여주지만, 얕은 층의 교차 스트림 혼합은 여전히 필수 항목이므로 단순화는 깊이 차원에서 비균일하게만 수행할 수 있다. 이 가중치로 파인튜닝이나 증류를 하는 팀에게 이 발견은 네 스트림의 표현이 중복되지 않지만(코사인 유사도 약 0.4) 읽기/쓰기 경로는 고도로 집중되어 있어, 가장 약한 경로를 잘라내는 이득과 위험을 층별로 개별 평가해야 함을 시사한다. 주의할 점은 논문의 개입 지표가 C4 퍼플렉서티와 여섯 개 제로샷 과제에서 나온 것으로 학술 평가 기준에 속하며, 대화, 에이전트, 장문맥 검색을 향한 프로덕션 워크로드와는 차이가 있어 보고서의 점수를 직접 비즈니스 품질로 환산할 수 없다. 또한 이 연구는 단일 공개 가중치 버전만을 다루므로, 그 결론이 같은 계열의 다른 버전에 전이될 수 있는지는 아직 검증되지 않았다. 원문은 같은 단락에서 두 개의 국내 다중 스트림 모델의 단순화 설계를 인용했는데, 이는 아키텍처 대조로 사용될 수 있지만 해당 설계들이 동일한 실험으로 검증되었다는 의미는 아니다.
연동 및 평가 제안
다음은 해당 보도에 기반한 조건부 분석이며, 논문의 결론이 아니다. 첫째, 팀이 mHC류 구조에 대한 연산자 수준 최적화를 평가하고 있다면 먼저 '주도 스트림 일관성과 유효 스트림 수' 통계를 재현할 것을 권한다. 선택 근거는 보도에서 읽기/쓰기 매핑의 유효 스트림 수가 약 1.8~2.0이라는 점이며, 실행 가능한 판단은 대상 모델의 이 지표를 자체 트래픽 데이터에서 측정한 값과 비교하는 것이다. 측정값이 보도값보다 현저히 높다면 이 버전의 라우팅이 더 분산되어 있어, 희소성 가정에 기반한 연산자 절단 전제가 성립하지 않는다는 뜻이다. 측정 가능한 검증 기준은 자체 고정 길이 시퀀스에서 절단 전후의 PPL 변화를 기록하고, 관심 임계값을 보도의 2.7% 수준이 초과되는지 여부로 설정하는 것이다. 둘째, 심층에 항등 혼합 대체 구현을 고려하여 혼합 행렬의 토큰별 생성을 생략하려는 경우, 전제 조건은 모델에 실제로 편차 0.01 미만의 심층 구간이 존재하는 것이다. 선택 근거는 보도에서 심층 대체 후 평균 점수 변화가 +0.04%포인트인 반면 전체 네트워크 대체는 3.28%포인트 하락하므로, 계층별 처리만 가능하다는 점이다. 측정 가능한 검증 기준은 깊이별로 여섯 개 과제 또는 자체 과제 세트를 실행하여 심층 대체로 인한 점수 차이가 평가 노이즈 범위 내에 있는지 확인하고, 얕은 층은 동적 혼합을 유지하는 것이다. 셋째, 저비용 실험만 계획한다면 보도의 '얕은 층을 캘리브레이션 세트 평균 행렬로 고정' 개입 방식을 먼저 적용하여 토큰별 동적성을 정적 행렬로 대체할 수 있다. 보도에 따르면 이 경우 PPL은 0.2%만 상승한다. 측정 가능한 기준은 정적 버전과 동적 버전의 첫 토큰 지연 및 처리량을 비교하여, 절약된 동적성이 0.25%포인트의 평균 점수 비용을 감수할 가치가 있는지 판단하는 것이다. 모든 임계값은 논문의 학술 평가 설정에서 나온 것이므로, 자체 워크로드로 전이하기 전에 재보정이 필요하다.
제한과 확인할 사항
이 연구의 구체적 버전은 DeepSeek-V4-Flash-0731이며, 2026년 10월 24일 기준 KimiSeek 카탈로그에는 이 버전이 없으므로 해당 정확한 버전이 사이트에서 사용 가능한지 확인할 수 없다. 본 보도에서 언급된 가중치와 API 가용성은 모두 제조사 측 정보를 의미하며, 독자는 제조사 채널을 기준으로 삼아야 한다. 본문에 서술된 모든 수치, 비율, 점수는 해당 논문의 보고 기준에서 나온 것이며 독립적으로 재현되지 않았고, 평가는 C4 퍼플렉서티와 ARC-Easy, ARC-Challenge, PIQA, HellaSwag, MMLU, GSM8K 여섯 개 제로샷 과제로 제한되어 학술 기준에 속하며, 중국어, 장문맥, 에이전트 시나리오에서의 성능을 의미하지 않는다. 개입 실험에 사용된 가중치는 특정 공개 스냅샷이며, 그 결론이 같은 계열의 다른 버전이나 다른 제조사의 다중 스트림 잔차 구조에 적용된다고 추정할 수 없다. 원문이 Hy4-preview와 Qwen3.8-Flash-Next를 인용한 것은 아키텍처 수준의 유추일 뿐, 해당 모델들에 대한 실험적 결론이 아니다. 또한 모델 아키텍처 수준의 분석은 서버 API 가격, 속도 제한, 컨텍스트 구성을 직접 설명하지 않으므로, 관련 비용은 제조사나 플랫폼의 가격 페이지를 확인해야 한다.