Estudo diz que os quatro fluxos residuais do DeepSeek-V4-Flash usam na prática cerca de dois, e a mistura profunda degenera para a matriz identidade
Segundo um artigo do arXiv (publicado em setembro de 2026) repercutido pelo Machine Heart, pesquisadores fizeram análise forward e intervenções em tempo de inferência sobre os pesos públicos do DeepSeek-V4-Flash-0731 e descobriram que os pesos de leitura e escrita dos quatro fluxos residuais do mHC se concentram em cerca de dois fluxos, que as matrizes de mistura residual das camadas 22 a 42 se aproximam da matriz identidade e que, ao substituir as camadas profundas pela identidade, a média de seis tarefas quase não muda.
O que mudou
Segundo o artigo e a reportagem do Machine Heart, o DeepSeek-V4-Flash adota Manifold-Constrained Hyper-Connections (mHC) para manter quatro fluxos residuais paralelos, com os mapas de leitura e escrita e as matrizes de mistura residual gerados dinamicamente a partir dos tokens de entrada, e as matrizes de mistura restringidas a matrizes duplamente estocásticas por iteração de Sinkhorn-Knopp. Os pesquisadores usaram os pesos públicos do DeepSeek-V4-Flash-0731, amostraram 512 sequências de comprimento 1024 do C4 e registraram, para cada token de cada subcamada, os pesos de leitura e escrita e as matrizes de mistura. O relatório afirma que a consistência do fluxo dominante do mapa de leitura foi em média 0,871 e a do mapa de escrita, 0,905; o número médio de fluxos efetivos foi 1,998 para o mapa de leitura e 1,775 para o de escrita, ou seja, a arquitetura oferece quatro fluxos mas o cálculo típico usa cerca de dois. A similaridade de cosseno média entre os quatro fluxos foi de cerca de 0,404, com a diferenciação de representação concluída já nas primeiras camadas. Medindo a intensidade da mistura entre fluxos pelo desvio absoluto médio entre a matriz de mistura e a matriz identidade, 32 das 40 subcamadas das camadas 23 a 42 apresentaram desvio inferior a 0,01. As intervenções em tempo de inferência mostram: após remover os caminhos de leitura e escrita de menor peso por token, o PPL sobe no máximo 2,7% e a média de seis tarefas zero-shot cai no máximo 0,38 ponto percentual; após substituir as matrizes de mistura das camadas 22 a 42 pela identidade, o PPL sobe 1,9% e a média varia +0,04 ponto percentual; a substituição em toda a rede faz o PPL subir 42,3% e a média cair 3,28 pontos percentuais; fixar as camadas rasas na matriz média dos tokens do conjunto de calibração C4 faz o PPL subir 0,2% e a média cair 0,25 ponto percentual. O texto original também menciona que o iHC do Tencent Hy4-preview e o Gated Residual do Qwen3.8-Flash-Next adotam caminhos residuais mais simples. Todas as afirmações acima são conclusões reportadas pelo artigo e ainda não foram reproduzidas de forma independente.
Impacto para desenvolvedores
O valor desse tipo de análise não está em rankings, mas em fornecer base de decisão para a implantação e para rotas próprias de arquiteturas residuais multi-fluxo. Se as conclusões se confirmarem, a esparsidade efetiva de leitura e escrita significa que boa parte do custo de inferência do mHC é gasta em caminhos de peso extremamente pequeno, o que se relaciona diretamente ao consumo de memória em processamento em lote e ao espaço de fusão de operadores de atenção/FFN; ao mesmo tempo, a mistura profunda próxima da identidade indica que a comunicação entre fluxos nesse trecho pode ser simplificada, enquanto a mistura entre fluxos nas camadas rasas continua sendo necessária, de modo que a simplificação só pode ser feita de forma não uniforme na dimensão de profundidade. Para equipes que fazem ajuste fino ou destilação com esses pesos, a descoberta sugere que as representações dos quatro fluxos não são redundantes (similaridade de cosseno de cerca de 0,4), mas os caminhos de leitura e escrita são altamente concentrados, e o ganho e o risco de podar o caminho mais fraco precisam ser avaliados camada por camada. É preciso notar que os indicadores de intervenção do artigo vêm da perplexidade no C4 e de seis tarefas zero-shot, um critério de avaliação acadêmico, com distância em relação a cargas de produção voltadas a diálogo, agentes e recuperação de contexto longo, e as pontuações relatadas não podem ser convertidas diretamente em qualidade de negócio. Além disso, o estudo cobre apenas uma única versão pública de pesos, e a transferibilidade de suas conclusões para outras versões da mesma família ainda não foi verificada. O texto original cita, no mesmo parágrafo, dois projetos simplificados de modelos multi-fluxo nacionais, o que serve como contraste arquitetural, mas não significa que esses projetos tenham sido validados pelo mesmo experimento.
Integração e avaliação
A seguir, uma análise condicional baseada na reportagem, não conclusões do artigo. Primeiro, se a equipe está avaliando se deve fazer otimização em nível de operador em estruturas do tipo mHC, recomenda-se reproduzir primeiro as estatísticas de 'consistência do fluxo dominante e número de fluxos efetivos': o critério de escolha é que, na reportagem, o número de fluxos efetivos dos mapas de leitura e escrita fica em cerca de 1,8 a 2,0, e o teste executável é comparar esse indicador do modelo em avaliação com o valor medido nos próprios dados de tráfego; se o valor medido for claramente superior ao relatado, isso indica que o roteamento dessa versão é mais disperso e que a premissa de poda de operadores baseada na suposição de esparsidade não se sustenta. O critério de verificação mensurável é registrar a variação de PPL antes e depois da poda em sequências próprias de comprimento fixo e definir como limiar de atenção se a ordem de 2,7% relatada é ultrapassada. Segundo, se considerar uma implementação alternativa de mistura identidade nas camadas profundas para evitar a geração por token das matrizes de mistura, a condição prévia é que exista de fato no modelo um trecho profundo com desvio inferior a 0,01; o critério de escolha é que, na reportagem, a substituição nas camadas profundas resulta em variação de +0,04 ponto percentual na média, enquanto a substituição em toda a rede reduz 3,28 pontos percentuais, portanto só é possível fazer tratamento por camadas. O critério de verificação mensurável é rodar as seis tarefas ou um conjunto próprio por profundidade, confirmando que a diferença de pontuação trazida pela substituição profunda fica dentro do ruído de avaliação, mantendo a mistura dinâmica nas camadas rasas. Terceiro, se a intenção é apenas fazer um experimento de baixo custo, pode-se primeiro adotar a intervenção relatada de 'fixar as camadas rasas na matriz média do conjunto de calibração', substituindo o dinamismo por token por uma matriz estática, pois a reportagem afirma que o PPL sobe apenas 0,2%; o critério mensurável é comparar a latência do primeiro token e a vazão das versões estática e dinâmica, para julgar se o dinamismo economizado vale o custo de 0,25 ponto percentual na média. Todos os limiares vêm da configuração de avaliação acadêmica do artigo e precisam ser recalibrados antes de serem transferidos para cargas próprias.
Limites e pontos a confirmar
A versão específica do estudo é o DeepSeek-V4-Flash-0731 e, no catálogo do KimiSeek em 24 de outubro de 2026, essa versão não aparece, portanto não é possível confirmar se essa versão exata está disponível no site; a disponibilidade de pesos e de API mencionada nesta reportagem refere-se a informações do lado do fabricante, e os leitores devem consultar os canais do fabricante. Todos os números, proporções e pontuações citados neste texto vêm do critério de reportagem do artigo, sem reprodução independente, e a avaliação se limita à perplexidade no C4 e a seis tarefas zero-shot (ARC-Easy, ARC-Challenge, PIQA, HellaSwag, MMLU, GSM8K), um critério acadêmico que não representa desempenho em cenários de chinês, contexto longo ou agentes. Os pesos usados nos experimentos de intervenção são um snapshot público específico, e suas conclusões não podem ser presumidamente aplicadas a outras versões da mesma família ou a estruturas residuais multi-fluxo de outros fabricantes; as citações do texto original sobre Hy4-preview e Qwen3.8-Flash-Next são apenas analogias em nível arquitetural, não conclusões experimentais sobre esses modelos. Além disso, a análise em nível de arquitetura do modelo não explica diretamente preços, limites de taxa ou configurações de contexto da API do servidor; para custos relacionados, consulte as páginas de preços do fabricante ou da plataforma.