Studie: DeepSeek-V4-Flash nutzt von vier Residualströmen effektiv nur rund zwei, tiefe Schichten degenerieren zur Identitätsmatrix
Laut einem von Jiqizhixin wiedergegebenen arXiv-Papier (veröffentlicht im September 2026) führten Forscher eine Vorwärtsanalyse und Interventionen zur Inferenzzeit an den öffentlichen DeepSeek-V4-Flash-0731-Gewichten durch. Sie fanden heraus, dass sich die Lese- und Schreibgewichte der vier Residualströme von mHC auf etwa zwei Ströme konzentrieren und die Residualmischungsmatrizen der Schichten 22 bis 42 nahe der Identitätsmatrix liegen. Nach dem Ersetzen der tiefen Schichten durch die Identitätsmatrix blieb der Durchschnittswert über sechs Aufgaben nahezu unverändert.
Was sich geändert hat
Laut dem Papier und dem Bericht von Jiqizhixin verwendet DeepSeek-V4-Flash Manifold-Constrained Hyper-Connections (mHC), um vier parallele Residualströme zu unterhalten. Lese- und Schreibabbildungen sowie die Residualmischungsmatrizen werden dynamisch aus den Eingabe-Tokens erzeugt, wobei die Mischungsmatrizen durch Sinkhorn-Knopp-Iterationen zu doppelt stochastischen Matrizen beschränkt werden. Die Forscher nutzten die öffentlichen DeepSeek-V4-Flash-0731-Gewichte, entnahmen 512 Sequenzen der Länge 1024 aus C4 und protokollierten für jedes Token und jedes Teilschicht die Lese- und Schreibgewichte sowie die Mischungsmatrizen. Der Bericht gibt an, dass die Konsistenz des dominanten Stroms für die Leseabbildung im Durchschnitt 0,871 und für die Schreibabbildung 0,905 beträgt; die durchschnittliche effektive Anzahl von Strömen beträgt 1,998 für die Leseabbildung und 1,775 für die Schreibabbildung, das heißt, obwohl die Architektur vier Ströme vorsieht, nutzt die typische Berechnung nur etwa zwei. Die durchschnittliche Kosinusähnlichkeit zwischen den vier Strömen liegt bei etwa 0,404, wobei die Repräsentationsdifferenzierung bereits in den ersten Schichten abgeschlossen ist. Gemessen an der mittleren absoluten Abweichung zwischen der Mischungsmatrix und der Identitätsmatrix als Maß für die stromübergreifende Mischungsstärke wiesen 32 der 40 Teilschichten der Schichten 23 bis 42 eine Abweichung unter 0,01 auf. Interventionen zur Inferenzzeit zeigen: Entfernt man für jedes Token den Lese- und Schreibpfad mit dem geringsten Gewicht, steigt die Perplexität um höchstens 2,7 Prozent und der Durchschnittswert über sechs Zero-Shot-Aufgaben sinkt um höchstens 0,38 Prozentpunkte; ersetzt man die Mischungsmatrizen der Schichten 22 bis 42 durch die Identitätsmatrix, steigt die Perplexität um 1,9 Prozent und der Durchschnittswert ändert sich um +0,04 Prozentpunkte; ersetzt man sie im gesamten Netz, steigt die Perplexität um 42,3 Prozent und der Durchschnittswert sinkt um 3,28 Prozentpunkte; fixiert man die flachen Schichten auf die token-gemittelte Matrix des C4-Kalibrierungssatzes, steigt die Perplexität um 0,2 Prozent und der Durchschnittswert sinkt um 0,25 Prozentpunkte. Der Originaltext erwähnt zudem, dass die iHC von Tencent Hy4-preview und das Gated Residual von Qwen3.8-Flash-Next einfachere Residualpfade verwenden. Alle oben genannten Punkte sind berichtende Schlussfolgerungen des Papiers und wurden noch nicht unabhängig reproduziert.
Auswirkungen für Entwickler
Der Wert dieser Art von Analyse liegt nicht in Rankings, sondern darin, eine Entscheidungsgrundlage für die Bereitstellung und eigene Entwicklung von Architekturen mit mehreren Residualströmen zu liefern. Wenn die Schlussfolgerungen zutreffen, bedeutet die tatsächliche Sparsität von Lese- und Schreibvorgängen, dass ein erheblicher Teil des Inferenzaufwands von mHC auf Pfade mit extrem kleinen Gewichten entfällt. Dies betrifft direkt den Speicherverbrauch bei der Batch-Verarbeitung und den Spielraum für die Fusion von Attention- und FFN-Operatoren. Gleichzeitig zeigt die nahezu identische Mischung in tiefen Schichten, dass die stromübergreifende Kommunikation in diesem Abschnitt vereinfacht werden kann, während die stromübergreifende Mischung in flachen Schichten weiterhin erforderlich ist; eine Vereinfachung ist nur in der Tiefendimension ungleichmäßig möglich. Für Teams, die diese Gewichte für Feintuning oder Destillation nutzen, deutet dieser Befund darauf hin, dass die Repräsentationen der vier Ströme nicht redundant sind (Kosinusähnlichkeit etwa 0,4), die Lese- und Schreibpfade jedoch stark konzentriert sind. Nutzen und Risiko des Entfernens des schwächsten Pfades müssen schichtweise bewertet werden. Zu beachten ist, dass die Interventionsmetriken im Papier aus der C4-Perplexität und sechs Zero-Shot-Aufgaben stammen, also akademischen Bewertungsmaßstäben entsprechen, und dass eine Lücke zu Produktionslasten für Dialog, Agenten und Langkontext-Retrieval besteht. Die berichteten Werte lassen sich nicht direkt in Geschäftsqualität umrechnen. Darüber hinaus deckt die Studie nur eine einzelne öffentliche Gewichtsversion ab; die Übertragbarkeit ihrer Schlussfolgerungen auf andere Versionen derselben Familie ist noch nicht überprüft. Der Originaltext zitiert im selben Absatz zwei vereinfachte Designs inländischer Mehrstrommodelle als Architekturvergleich, was jedoch nicht bedeutet, dass diese Designs durch dasselbe Experiment validiert wurden.
Integration und Bewertung
Das Folgende ist eine bedingte Analyse auf Grundlage des Berichts, nicht eine Schlussfolgerung des Papiers. Erstens: Wenn ein Team erwägt, ob mHC-ähnliche Strukturen auf Operatorebene optimiert werden sollen, empfiehlt es sich, zunächst die Statistik zur Konsistenz des dominanten Stroms und zur effektiven Anzahl von Strömen zu reproduzieren. Die Auswahlgrundlage ist, dass die berichtete effektive Anzahl von Strömen für Lese- und Schreibabbildungen etwa 1,8 bis 2,0 beträgt. Ein umsetzbares Kriterium ist, diesen Indikator des zu testenden Modells mit den auf eigenen Verkehrsdaten gemessenen Werten zu vergleichen. Liegt der Messwert deutlich über dem berichteten Wert, ist das Routing dieser Version stärker verteilt, und die Voraussetzung für eine auf Sparsität basierende Operatorbeschneidung ist nicht erfüllt. Ein messbares Validierungskriterium ist, auf eigenen Sequenzen fester Länge die Perplexitätsänderung vor und nach der Beschneidung zu erfassen und als Aufmerksamkeitsschwelle zu prüfen, ob die berichtete Größenordnung von 2,7 Prozent überschritten wird. Zweitens: Wenn erwogen wird, für tiefe Schichten eine alternative Implementierung mit identischer Mischung zu verwenden, um die tokenweise Erzeugung der Mischungsmatrix einzusparen, ist die Voraussetzung, dass im Modell tatsächlich ein tiefer Bereich mit einer Abweichung unter 0,01 existiert. Die Auswahlgrundlage ist, dass laut Bericht die Änderung des Durchschnittswerts nach Ersetzen der tiefen Schichten +0,04 Prozentpunkte beträgt, während ein netzweites Ersetzen zu einem Rückgang von 3,28 Prozentpunkten führt; daher ist nur eine schichtweise Behandlung möglich. Ein messbares Validierungskriterium ist, sechs Aufgaben oder einen eigenen Aufgabensatz nach Tiefe getrennt auszuführen und zu bestätigen, dass die durch das Ersetzen der tiefen Schichten verursachte Wertdifferenz im Bereich des Bewertungsrauschens liegt, während die flachen Schichten eine dynamische Mischung beibehalten. Drittens: Wenn nur ein kostengünstiges Experiment geplant ist, kann man zunächst gemäß der im Bericht beschriebenen Intervention die flachen Schichten auf die gemittelte Matrix des Kalibrierungssatzes fixieren und die tokenweise Dynamik durch eine statische Matrix ersetzen, da der Bericht angibt, dass die Perplexität nur um 0,2 Prozent steigt. Ein messbares Kriterium ist, die Latenz des ersten Tokens und den Durchsatz der statischen und der dynamischen Version zu vergleichen und zu beurteilen, ob die eingesparte Dynamik den Preis von 0,25 Prozentpunkten beim Durchschnittswert wert ist. Alle Schwellenwerte stammen aus dem akademischen Bewertungsaufbau des Papiers und müssen vor einer Übertragung auf eigene Lasten neu kalibriert werden.
Grenzen und offene Fragen
Die konkrete Version der Studie ist DeepSeek-V4-Flash-0731. Im KimiSeek-Katalog vom 24. Oktober 2026 ist diese Version nicht zu finden; daher kann nicht bestätigt werden, ob diese exakte Version auf der Plattform verfügbar ist. Die in diesem Bericht erwähnten Gewichte- und API-Verfügbarkeiten beziehen sich auf Informationen seitens des Herstellers; Leser sollten sich an den Herstellerkanälen orientieren. Alle in diesem Artikel genannten Zahlen, Verhältnisse und Werte stammen aus der berichtenden Darstellung des Papiers, wurden nicht unabhängig reproduziert, und die Bewertung beschränkt sich auf die C4-Perplexität und sechs Zero-Shot-Aufgaben: ARC-Easy, ARC-Challenge, PIQA, HellaSwag, MMLU und GSM8K. Dies entspricht einem akademischen Maßstab und repräsentiert nicht die Leistung in chinesischen, Langkontext- oder Agenten-Szenarien. Die in den Interventionsexperimenten verwendeten Gewichte sind ein bestimmter öffentlicher Schnappschuss; ihre Schlussfolgerungen lassen sich nicht ohne Weiteres auf andere Versionen derselben Familie oder auf Mehrstrom-Residualstrukturen anderer Hersteller übertragen. Die Verweise im Originaltext auf Hy4-preview und Qwen3.8-Flash-Next sind lediglich Analogien auf Architekturebene und keine experimentellen Schlussfolgerungen zu diesen Modellen. Darüber hinaus sagt eine Analyse auf Architekturebene nichts direkt über serverseitige API-Preise, Ratenbegrenzungen oder Kontextkonfigurationen aus; für entsprechende Kosten sind die Preisseiten des Herstellers oder der Plattform zu konsultieren.