Investigación afirma que DeepSeek-V4-Flash usa en la práctica unas dos de sus cuatro corrientes residuales y que la mezcla profunda degenera en identidad
Según un artículo de arXiv (publicado en septiembre de 2026) difundido por Machine Heart, unos investigadores realizaron análisis de avance e intervenciones en tiempo de inferencia sobre los pesos públicos de DeepSeek-V4-Flash-0731 y encontraron que, en mHC, los pesos de lectura y escritura de las cuatro corrientes residuales se concentran en unas dos corrientes; que las matrices de mezcla residual de las capas 22 a 42 se aproximan a la matriz identidad; y que, al sustituir las capas profundas por la identidad, la puntuación media en seis tareas casi no cambia.
Qué ha cambiado
Según el artículo y la cobertura de Machine Heart, DeepSeek-V4-Flash emplea Manifold-Constrained Hyper-Connections (mHC) para mantener cuatro corrientes residuales paralelas, con mapas de lectura y escritura y matrices de mezcla residual generadas dinámicamente a partir de los tokens de entrada; las matrices de mezcla se restringen a matrices doblemente estocásticas mediante iteraciones de Sinkhorn-Knopp. Los investigadores usaron los pesos públicos de DeepSeek-V4-Flash-0731, tomaron 512 secuencias de longitud 1024 muestreadas de C4 y registraron los pesos de lectura y escritura y las matrices de mezcla de cada token en cada subcapa. El informe señala que la consistencia de la corriente dominante del mapa de lectura promedia 0.871 y la del mapa de escritura 0.905; que el número medio de corrientes efectivas es 1.998 para lectura y 1.775 para escritura, es decir, que la arquitectura ofrece cuatro corrientes pero el cómputo típico usa unas dos. La similitud coseno media entre las cuatro corrientes es de aproximadamente 0.404, y la diferenciación de representación se completa ya en las primeras capas. Al medir la intensidad de mezcla entre corrientes mediante la desviación absoluta media entre la matriz de mezcla y la identidad, 32 de las 40 subcapas de las capas 23 a 42 presentan una desviación inferior a 0.01. Las intervenciones en tiempo de inferencia muestran que, al eliminar las rutas de lectura y escritura de menor peso por token, la perplejidad (PPL) aumenta como máximo un 2.7% y la puntuación media en seis tareas de zero-shot cae como máximo 0.38 puntos porcentuales; al sustituir las matrices de mezcla de las capas 22 a 42 por la identidad, la PPL sube 1.9% y la puntuación media cambia +0.04 puntos porcentuales; al sustituirlas en toda la red, la PPL sube 42.3% y la puntuación media baja 3.28 puntos porcentuales; y al fijar las capas superficiales a la matriz promedio de tokens sobre el conjunto de calibración C4, la PPL sube 0.2% y la puntuación media baja 0.25 puntos porcentuales. El texto original también menciona que el iHC de Tencent Hy4-preview y el Gated Residual de Qwen3.8-Flash-Next emplean rutas residuales más simples. Todas estas son conclusiones reportadas por el artículo y aún no han sido reproducidas de forma independiente.
Impacto para desarrolladores
El valor de este tipo de análisis no está en las tablas de clasificación, sino en ofrecer bases para decisiones sobre el despliegue y las rutas de desarrollo propio de arquitecturas residuales multicorriente. Si las conclusiones se sostienen, la dispersión efectiva de lectura y escritura implica que una parte considerable del coste de inferencia de mHC se dedica a rutas con pesos muy pequeños, lo que incide directamente en el uso de memoria en procesamiento por lotes y en el margen de fusión de los operadores de atención y FFN; además, la mezcla profunda cercana a la identidad indica que la comunicación entre corrientes en ese tramo puede simplificarse, mientras que la mezcla entre corrientes en las capas superficiales sigue siendo necesaria, de modo que la simplificación solo puede aplicarse de forma no uniforme en la dimensión de profundidad. Para los equipos que usan estos pesos para ajuste fino o destilación, este hallazgo sugiere que las representaciones de las cuatro corrientes no son redundantes (similitud coseno de aproximadamente 0.4), pero las rutas de lectura y escritura están muy concentradas, por lo que los beneficios y riesgos de recortar las rutas más débiles deben evaluarse capa por capa. Cabe señalar que las métricas de intervención del artículo provienen de la perplejidad en C4 y de seis tareas de zero-shot, un criterio de evaluación académico que difiere de cargas de producción orientadas a diálogo, agentes o recuperación de contexto largo; las puntuaciones reportadas no pueden convertirse directamente en calidad de negocio. Además, el estudio cubre una única versión de pesos públicos y aún no se ha verificado la transferibilidad de sus conclusiones a otras versiones de la misma familia. El texto original cita en el mismo párrafo dos diseños simplificados de modelos nacionales multicorriente como referencia arquitectónica, pero eso no significa que esos diseños hayan sido validados por el mismo experimento.
Integración y evaluación
Lo siguiente es un análisis condicional basado en la cobertura, no una conclusión del artículo. Primero, si un equipo está evaluando si optimizar a nivel de operador estructuras tipo mHC, se recomienda reproducir primero las estadísticas de «consistencia de la corriente dominante y número de corrientes efectivas»: el criterio de elección es que en la cobertura el número de corrientes efectivas de los mapas de lectura y escritura ronda 1.8 a 2.0, y el juicio ejecutable es comparar ese indicador del modelo a probar con el valor medido sobre los propios datos de tráfico; si el valor medido es claramente superior al reportado, la versión en cuestión enruta de forma más dispersa y no se cumple la premisa del recorte de operadores basado en la hipótesis de dispersión. Un criterio de verificación medible es registrar el cambio de PPL antes y después del recorte sobre secuencias propias de longitud fija y fijar el umbral de atención en si se supera el orden del 2.7% reportado. Segundo, si se considera una implementación alternativa que sustituya la mezcla profunda por la identidad para ahorrar la generación token a token de la matriz de mezcla, la condición previa es que exista realmente en el modelo un tramo profundo con desviación inferior a 0.01; el criterio de elección es que en la cobertura la sustitución profunda produce un cambio de +0.04 puntos porcentuales en la puntuación media, mientras que la sustitución en toda la red la reduce 3.28 puntos porcentuales, por lo que solo puede hacerse un tratamiento por capas. Un criterio de verificación medible es ejecutar seis tareas o un conjunto de tareas propio por profundidad y confirmar que la diferencia de puntuación por la sustitución profunda cae dentro del ruido de evaluación, manteniendo la mezcla dinámica en las capas superficiales. Tercero, si solo se pretende hacer un experimento de bajo coste, puede empezarse por la intervención reportada de «fijar las capas superficiales a la matriz promedio del conjunto de calibración», sustituyendo el dinamismo token a token por una matriz estática, ya que la cobertura indica que la PPL solo sube 0.2%; un criterio medible es comparar la latencia del primer token y el rendimiento de las versiones estática y dinámica para juzgar si el dinamismo ahorrado justifica el coste de 0.25 puntos porcentuales en la puntuación media. Todos los umbrales provienen de la configuración de evaluación académica del artículo y deben recalibrarse antes de trasladarlos a cargas propias.
Límites y cuestiones pendientes
La versión concreta del estudio es DeepSeek-V4-Flash-0731, y en el catálogo de KimiSeek con fecha de 24 de octubre de 2026 no aparece esta versión, por lo que no es posible confirmar si esa versión exacta está disponible en el sitio; la disponibilidad de pesos y API mencionada en esta cobertura se refiere a información del lado del fabricante, y los lectores deben remitirse a los canales del fabricante. Todas las cifras, proporciones y puntuaciones descritas provienen del criterio reportado en el artículo, no han sido reproducidas de forma independiente y la evaluación se limita a la perplejidad en C4 y a seis tareas de zero-shot (ARC-Easy, ARC-Challenge, PIQA, HellaSwag, MMLU y GSM8K), un criterio académico que no representa el rendimiento en chino, contexto largo o escenarios de agentes. Los pesos usados en los experimentos de intervención corresponden a una instantánea pública concreta, y sus conclusiones no pueden presumirse aplicables a otras versiones de la misma familia ni a estructuras residuales multicorriente de otros fabricantes; la referencia del texto original a Hy4-preview y Qwen3.8-Flash-Next es solo una analogía a nivel arquitectónico, no una conclusión experimental sobre esos modelos. Además, el análisis a nivel de arquitectura del modelo no explica directamente los precios de API del lado del servicio, los límites de tasa ni la configuración de contexto; para costes relacionados, consúltense las páginas de precios del fabricante o de la plataforma.