研究称 DeepSeek-V4-Flash 四残差流实际只用约两条，深层混合退化为单位矩阵
据机器之心转载的一篇 arXiv 论文（2026 年 9 月发布），研究者对公开的 DeepSeek-V4-Flash-0731 权重做前向分析与推理期干预，发现 mHC 的四条残差流读写权重集中在约两条流上，第 22 至 42 层残差混合矩阵接近单位矩阵，深层替换为单位矩阵后六任务平均分几乎不变。
发生了什么
据该论文及机器之心的报道，DeepSeek-V4-Flash 采用 Manifold-Constrained Hyper-Connections（mHC）维护四条并行残差流，读写映射与残差混合矩阵均由输入 token 动态生成，混合矩阵经 Sinkhorn-Knopp 迭代约束为双随机矩阵。研究者使用公开的 DeepSeek-V4-Flash-0731 权重，从 C4 采样 512 条长度 1024 的序列，记录每个子层每个 token 的读写权重与混合矩阵。报告称，读映射的主导流一致性平均为 0.871、写映射为 0.905；读映射平均有效流数量为 1.998、写映射为 1.775，即架构给出四条流但典型计算只用约两条。四条流之间的平均余弦相似度约 0.404，前几层即完成表示分化。用混合矩阵与单位矩阵的平均绝对偏差衡量跨流混合强度，第 23 至 42 层的 40 个子层中有 32 个偏差低于 0.01。推理期干预显示：去掉每 token 最低权重的读写路径后 PPL 最多上升 2.7%、六个零样本任务平均分最多下降 0.38 个百分点；把第 22 至 42 层混合矩阵替换为单位矩阵后 PPL 上升 1.9%、平均分变化 +0.04 个百分点；全网替换则 PPL 上升 42.3%、平均分下降 3.28 个百分点；浅层固定为 C4 校准集上的 token 平均矩阵后 PPL 上升 0.2%、平均分下降 0.25 个百分点。原文还提到腾讯 Hy4-preview 的 iHC 与 Qwen3.8-Flash-Next 的 Gated Residual 采用了更简单的残差通路。以上均为该论文的报道性结论，尚未经独立复现。
对开发者的影响
这类分析的价值不在榜单，而在为多流残差架构的部署与自研路线提供决策依据。若结论成立，读写的实际稀疏性意味着 mHC 的推理开销中相当一部分花在了权值极小的路径上，这直接关系到批处理下的显存占用与注意力/FFN 算子的融合空间；同时，深层的近似恒等混合说明该段的跨流通信可以被简化，而浅层的跨流混合仍是必需项，简化只能在深度维度上做非均匀处理。对使用该权重做微调或蒸馏的团队，这一发现提示四条流的表征并不冗余（余弦相似度约 0.4）但读写路径高度集中，剪掉最弱路径的收益与风险需要按层分别评估。需要注意的是，论文中的干预指标来自 C4 困惑度与六个零样本任务，属于学术评测口径，与面向对话、Agent、长上下文检索的生产负载存在差距，报告中的分数不能直接换算为业务质量。此外，该研究只覆盖单一公开权重版本，其结论对同族其他版本的可迁移性尚未验证。原文在同一段落引用了两个国内多流模型的简化设计，可作为架构对照，但不代表这些设计已被同一实验验证。
接入与评估建议
以下为基于该报道的条件性分析，不是论文结论。第一，若团队正在评估是否对 mHC 类结构做算子级优化，建议先复现'主导流一致性与有效流数量'的统计：选择依据是报道中读写映射有效流数量约 1.8 至 2.0，可执行的判断是把待测模型的该指标与自己流量数据上的实测值对比，若实测明显高于报道值，说明该版本的路由更分散，按稀疏假设做的算子裁剪前提不成立。可测量的验证标准是在自有的固定长度序列上记录裁剪前后的 PPL 变化，并把关注阈值设为报道中的 2.7% 量级是否被突破。第二，若考虑对深层做恒等混合的替代实现以省去混合矩阵的逐 token 生成，前置条件是模型中确实存在一段偏差低于 0.01 的深层区间，选择依据是报道中深层替换后平均分变化为 +0.04 个百分点、而全网替换会下降 3.28 个百分点，因此只能做分层处理。可测量的验证标准是分深度跑六任务或自有任务集，确认深层替换带来的分差落在评测噪声范围内，同时浅层保持动态混合。第三，若只打算做低成本实验，可先按报道中'浅层固定为校准集平均矩阵'的干预方式，把逐 token 动态性替换为静态矩阵，因为报道称其 PPL 仅上升 0.2%；可测量标准是对比静态与动态版本的首次 token 延迟与吞吐，判断省下的动态性是否值得那 0.25 个百分点的平均分代价。所有阈值均来自论文的学术评测设置，迁移到自有负载前需重新标定。
限制与待确认事项
该研究的具体版本为 DeepSeek-V4-Flash-0731，截至 2026 年 10 月 24 日的 KimiSeek 目录中未见此版本，因此无法确认该精确版本是否在站内可用；本报道中涉及的权重与 API 可用性均指厂商侧信息，读者应以厂商渠道为准。本文所述所有数字、比例与分数均来自该论文的报道口径，未经独立复现，且评测限于 C4 困惑度与 ARC-Easy、ARC-Challenge、PIQA、HellaSwag、MMLU、GSM8K 六个零样本任务，属于学术口径，不代表中文、长上下文或 Agent 场景下的表现。干预实验使用的权重是特定公开快照，其结论不能推定适用于同族其他版本或其他厂商的多流残差结构；原文对 Hy4-preview 与 Qwen3.8-Flash-Next 的引用只是架构层面的类比，不是对这些模型的实验结论。此外，模型架构层面的分析并不直接说明服务端 API 价格、限流或上下文配置，相关费用请查阅厂商或平台的定价页面。