研究：DeepSeek-V4-Flashの4残差ストリームは実質約2本、深層の混合は単位行列に退化

機器之心（Machine Heart）が転載したarXiv論文（2026年9月公開）によると、研究者は公開されているDeepSeek-V4-Flash-0731の重みに対して順伝播分析と推論時の介入を行い、mHCの4本の残差ストリームの読み書き重みが約2本のストリームに集中していること、第22〜42層の残差混合行列が単位行列に近いこと、深層を単位行列に置き換えても6タスクの平均スコアがほぼ変わらないことを発見した。

公開 2026/9/27更新 2026/10/25

主な変更

同論文および機器之心の報道によると、DeepSeek-V4-FlashはManifold-Constrained Hyper-Connections（mHC）を採用して4本の並列残差ストリームを維持し、読み書きマッピングと残差混合行列はいずれも入力トークンから動的に生成され、混合行列はSinkhorn-Knopp反復によって二重確率行列に制約される。研究者は公開されているDeepSeek-V4-Flash-0731の重みを使用し、C4から長さ1024の512シーケンスをサンプリングして、各サブ層・各トークンの読み書き重みと混合行列を記録した。報告によれば、読みマッピングの支配的ストリーム一致性は平均0.871、書きマッピングは0.905であり、読みマッピングの平均有効ストリーム数は1.998、書きマッピングは1.775、つまりアーキテクチャは4本のストリームを提供するが典型的な計算では約2本しか使われていない。4本のストリーム間の平均コサイン類似度は約0.404で、最初の数層で表現の分化が完了する。混合行列と単位行列の平均絶対偏差でストリーム間混合強度を測定すると、第23〜42層の40サブ層のうち32サブ層で偏差が0.01未満であった。推論時の介入では、各トークンの最低重みの読み書きパスを除去するとPPLは最大2.7%上昇し、6つのゼロショットタスクの平均スコアは最大0.38ポイント低下した。第22〜42層の混合行列を単位行列に置き換えるとPPLは1.9%上昇し、平均スコアの変化は+0.04ポイントであった。ネットワーク全体を置き換えるとPPLは42.3%上昇し、平均スコアは3.28ポイント低下した。浅層をC4キャリブレーションセット上のトークン平均行列に固定するとPPLは0.2%上昇し、平均スコアは0.25ポイント低下した。原文はまた、Tencent Hy4-previewのiHCとQwen3.8-Flash-NextのGated Residualがより単純な残差経路を採用していることにも言及している。以上はすべて同論文の報道上の結論であり、独立した再現はまだなされていない。

開発者への影響

この種の分析の価値はベンチマークではなく、マルチストリーム残差アーキテクチャのデプロイと自社開発路線に意思決定の根拠を提供することにある。もし結論が成立するなら、読み書きの実際の疎性は、mHCの推論オーバーヘッドのかなりの部分が極めて小さい重みのパスに費やされていることを意味し、これはバッチ処理下のメモリ使用量とアテンション/FFN演算子の融合余地に直接関係する。同時に、深層の近似的に恒等的な混合は、その区間のストリーム間通信が簡略化できることを示し、浅層のストリーム間混合は依然として必須であるため、簡略化は深さ次元での非均一な処理しかできない。この重みを使ってファインチューニングや蒸留を行うチームにとって、この発見は、4本のストリームの表現が冗長ではない（コサイン類似度約0.4）が読み書きパスは高度に集中していることを示唆し、最も弱いパスを剪定する利益とリスクは層ごとに個別に評価する必要がある。注意すべきは、論文の介入指標はC4パープレキシティと6つのゼロショットタスクに由来し、学術評価の口径であり、対話、Agent、長文検索といった本番負荷とは隔たりがあり、報告されたスコアは直接ビジネス品質に換算できないことである。さらに、この研究は単一の公開重みバージョンのみを対象としており、同族の他のバージョンへの結論の移植性は未検証である。原文は同じ段落で中国のマルチストリームモデル2件の簡略化設計を引用しており、アーキテクチャの対照として参考にできるが、これらの設計が同一の実験で検証されたことを意味するものではない。

導入と評価の提案

以下は同報道に基づく条件付き分析であり、論文の結論ではない。第一に、チームがmHC類似構造に対して演算子レベルの最適化を行うか評価している場合、まず「支配的ストリーム一致性と有効ストリーム数」の統計を再現することを勧める。選択の根拠は、報道で読み書きマッピングの有効ストリーム数が約1.8〜2.0であることであり、実行可能な判断は、対象モデルのこの指標を自身のトラフィックデータ上の実測値と比較することである。実測が報道値を明らかに上回る場合、そのバージョンのルーティングはより分散しており、疎性仮定に基づく演算子剪定の前提が成立しないことを意味する。測定可能な検証基準は、自前の固定長シーケンス上で剪定前後のPPL変化を記録し、報道の2.7%程度という閾値を超えるかどうかに注目することである。第二に、深層の恒等混合への代替実装によって混合行列のトークンごとの生成を省くことを検討する場合、前提条件はモデル内に実際に偏差が0.01未満の深層区間が存在することである。選択の根拠は、報道で深層置き換え後の平均スコア変化が+0.04ポイントである一方、ネットワーク全体の置き換えでは3.28ポイント低下するため、層別処理しかできないことである。測定可能な検証基準は、深さ別に6タスクまたは自前タスクセットを実行し、深層置き換えによるスコア差が評価ノイズ範囲内に収まることを確認し、同時に浅層は動的混合を維持することである。第三に、低コスト実験のみを行う予定なら、まず報道の「浅層をキャリブレーションセット平均行列に固定」という介入方式に従い、トークンごとの動的性を静的な行列に置き換えることができる。報道ではPPL上昇はわずか0.2%とされている。測定可能な基準は、静的版と動的版の初回トークン遅延とスループットを比較し、省いた動的性が0.25ポイントの平均スコアの代償に値するか判断することである。すべての閾値は論文の学術評価設定に由来し、自前の負荷に移植する前に再キャリブレーションが必要である。

制限と未確認事項

この研究の具体的バージョンはDeepSeek-V4-Flash-0731であり、2026年10月24日時点のKimiSeekカタログにはこのバージョンは見当たらないため、この正確なバージョンがサイト内で利用可能かどうかは確認できない。本報道で言及される重みとAPI可用性はいずれもベンダー側の情報を指し、読者はベンダーチャネルを基準とすべきである。本文に記載されたすべての数字、比率、スコアは同論文の報道口径に由来し、独立した再現はされておらず、評価はC4パープレキシティとARC-Easy、ARC-Challenge、PIQA、HellaSwag、MMLU、GSM8Kの6つのゼロショットタスクに限られ、学術口径であり、中国語、長文コンテキスト、Agentシナリオでの性能を代表するものではない。介入実験で使用された重みは特定の公開スナップショットであり、その結論は同族の他のバージョンや他社のマルチストリーム残差構造に適用できると推定することはできない。原文のHy4-previewとQwen3.8-Flash-Nextへの言及はアーキテクチャ面の類推にすぎず、これらのモデルに関する実験結論ではない。さらに、モデルアーキテクチャ面の分析はサーバー側APIの価格、レート制限、コンテキスト設定を直接説明するものではなく、関連費用はベンダーまたはプラットフォームの価格ページを参照されたい。