Une étude estime que DeepSeek-V4-Flash n'exploite en pratique qu'environ deux de ses quatre flux résiduels
Selon un article d'arXiv relayé par le média chinois Ji Qi Zhi Xin (septembre 2026), des chercheurs ont mené une analyse en forward et des interventions à l'inférence sur les poids publics de DeepSeek-V4-Flash-0731. Ils rapportent que les poids de lecture/écriture des quatre flux résiduels de mHC se concentrent sur environ deux flux, que les matrices de mélange résiduel des couches 22 à 42 sont proches de la matrice identité, et que remplacer ces couches profondes par la matrice identité laisse quasiment inchangé le score moyen sur six tâches.
Ce qui change
Selon cet article et sa couverture par le média chinois Ji Qi Zhi Xin, DeepSeek-V4-Flash utilise des Manifold-Constrained Hyper-Connections (mHC) pour maintenir quatre flux résiduels parallèles ; les mappings de lecture/écriture et les matrices de mélange résiduel sont générés dynamiquement à partir des tokens d'entrée, et les matrices de mélange sont contraintes en matrices doublement stochastiques par itération de Sinkhorn-Knopp. Les chercheurs ont utilisé les poids publics de DeepSeek-V4-Flash-0731, échantillonné 512 séquences de longueur 1024 issues de C4, et enregistré pour chaque sous-couche et chaque token les poids de lecture/écriture et les matrices de mélange. Ils rapportent une cohérence moyenne du flux dominant de 0,871 pour le mapping de lecture et de 0,905 pour le mapping d'écriture ; le nombre moyen de flux effectifs est de 1,998 pour la lecture et de 1,775 pour l'écriture, c'est-à-dire que l'architecture offre quatre flux mais que le calcul typique n'en utilise qu'environ deux. La similarité cosinus moyenne entre les quatre flux est d'environ 0,404, la différenciation des représentations s'achevant dès les premières couches. En mesurant l'intensité du mélange inter-flux par l'écart absolu moyen entre la matrice de mélange et la matrice identité, 32 des 40 sous-couches des couches 23 à 42 présentent un écart inférieur à 0,01. Les interventions à l'inférence montrent que : supprimer, pour chaque token, les chemins de lecture/écriture de plus faible poids augmente la PPL d'au plus 2,7 % et fait baisser le score moyen sur six tâches zero-shot d'au plus 0,38 point de pourcentage ; remplacer les matrices de mélange des couches 22 à 42 par la matrice identité augmente la PPL de 1,9 % et change le score moyen de +0,04 point de pourcentage ; un remplacement sur l'ensemble du réseau augmente la PPL de 42,3 % et fait baisser le score moyen de 3,28 points de pourcentage ; fixer les couches superficielles à la matrice moyenne des tokens sur l'ensemble de calibration C4 augmente la PPL de 0,2 % et fait baisser le score moyen de 0,25 point de pourcentage. L'article original mentionne aussi que l'iHC de Tencent Hy4-preview et le Gated Residual de Qwen3.8-Flash-Next adoptent des voies résiduelles plus simples. Toutes ces conclusions sont celles rapportées par l'article et n'ont pas encore été reproduites indépendamment.
Conséquences pour les développeurs
L'intérêt de ce type d'analyse ne réside pas dans un classement, mais dans l'aide à la décision qu'elle apporte au déploiement et aux choix d'architecture pour les structures résiduelles multi-flux. Si ces conclusions se vérifient, la parcimonie effective des lectures/écritures signifie qu'une part notable du coût d'inférence de mHC est consacrée à des chemins de poids très faibles, ce qui touche directement à l'occupation mémoire en traitement par lots et à la marge de fusion des opérateurs d'attention et de FFN ; par ailleurs, le mélange quasi identitaire en profondeur indique que la communication inter-flux de ce segment peut être simplifiée, tandis que le mélange inter-flux des couches superficielles reste indispensable, la simplification ne pouvant donc être appliquée que de manière non uniforme selon la profondeur. Pour les équipes qui utilisent ces poids pour du fine-tuning ou de la distillation, ce constat suggère que les représentations des quatre flux ne sont pas redondantes (similarité cosinus d'environ 0,4) mais que les chemins de lecture/écriture sont fortement concentrés ; le gain et le risque d'élaguer les chemins les plus faibles doivent être évalués couche par couche. Il convient de noter que les indicateurs d'intervention de l'article proviennent de la perplexité sur C4 et de six tâches zero-shot, ce qui relève d'un protocole d'évaluation académique, éloigné des charges de production orientées dialogue, agents ou recherche en contexte long ; les scores rapportés ne peuvent donc pas être convertis directement en qualité métier. En outre, l'étude ne couvre qu'une seule version publique des poids, et la transférabilité de ses conclusions à d'autres versions de la même famille n'a pas été vérifiée. L'article original cite, dans le même paragraphe, deux conceptions simplifiées de modèles nationaux multi-flux, ce qui peut servir de comparaison architecturale, mais ne signifie pas que ces conceptions ont été validées par la même expérience.
Intégration et évaluation
Ce qui suit est une analyse conditionnelle fondée sur cette couverture, et non une conclusion de l'article. Premièrement, si une équipe évalue l'opportunité d'optimiser au niveau opérateur une structure de type mHC, il est suggéré de reproduire d'abord les statistiques de « cohérence du flux dominant et nombre de flux effectifs » : le critère de choix est que, selon la couverture, le nombre de flux effectifs des mappings de lecture/écriture se situe autour de 1,8 à 2,0 ; le jugement opérationnel consiste à comparer cet indicateur du modèle testé à la valeur mesurée sur ses propres données de trafic ; si la mesure est nettement supérieure à la valeur rapportée, le routage de cette version est plus dispersé et la prémisse d'un élagage d'opérateurs fondé sur l'hypothèse de parcimonie ne tient pas. Le critère de vérification mesurable est d'enregistrer, sur des séquences de longueur fixe propres à l'équipe, la variation de PPL avant et après élagage, en fixant comme seuil d'attention le dépassement ou non de l'ordre de 2,7 % rapporté. Deuxièmement, si l'on envisage une implémentation alternative à mélange identitaire en profondeur pour éviter la génération token par token des matrices de mélange, la condition préalable est qu'il existe bien dans le modèle un segment profond dont l'écart est inférieur à 0,01 ; le critère de choix est que, selon la couverture, le remplacement en profondeur change le score moyen de +0,04 point de pourcentage, tandis qu'un remplacement sur tout le réseau le ferait baisser de 3,28 points de pourcentage, ce qui impose un traitement par couches. Le critère de vérification mesurable est d'exécuter les six tâches ou un jeu de tâches propre par profondeur, de confirmer que l'écart de score induit par le remplacement en profondeur reste dans le bruit d'évaluation, tout en conservant un mélange dynamique dans les couches superficielles. Troisièmement, pour une expérience à faible coût, on peut d'abord adopter l'intervention rapportée consistant à « fixer les couches superficielles à la matrice moyenne de l'ensemble de calibration », en remplaçant le caractère dynamique par token par une matrice statique, puisque la couverture indique une hausse de PPL de seulement 0,2 % ; le critère mesurable est de comparer la latence du premier token et le débit des versions statique et dynamique, afin de juger si la dynamique économisée vaut le coût de 0,25 point de pourcentage sur le score moyen. Tous ces seuils proviennent du protocole d'évaluation académique de l'article et doivent être recalibrés avant tout transfert vers des charges propres.
Limites et points à confirmer
La version précise étudiée est DeepSeek-V4-Flash-0731 ; à la date du 24 octobre 2026, cette version n'apparaît pas dans le catalogue KimiSeek, il n'est donc pas possible de confirmer si cette version exacte y est disponible ; les poids et la disponibilité des API mentionnés dans cette couverture relèvent d'informations du côté du fournisseur, et les lecteurs doivent s'en remettre aux canaux du fournisseur. Tous les chiffres, ratios et scores cités dans cet article proviennent du cadre rapporté par l'article et n'ont pas été reproduits indépendamment ; l'évaluation se limite à la perplexité sur C4 et à six tâches zero-shot (ARC-Easy, ARC-Challenge, PIQA, HellaSwag, MMLU, GSM8K), ce qui relève d'un cadre académique et ne représente pas les performances en chinois, en contexte long ou dans des scénarios d'agents. Les poids utilisés pour les expériences d'intervention sont un instantané public spécifique, et leurs conclusions ne peuvent être présumées applicables à d'autres versions de la même famille ni aux structures résiduelles multi-flux d'autres fournisseurs ; les références de l'article à Hy4-preview et Qwen3.8-Flash-Next ne sont qu'une analogie au niveau architectural et non des conclusions expérimentales sur ces modèles. En outre, une analyse au niveau de l'architecture du modèle ne renseigne pas directement sur les prix des API côté service, les limites de débit ou les configurations de contexte ; pour les coûts associés, il convient de consulter les pages de tarification du fournisseur ou de la plateforme.