Benchmark de ataque e defesa cibernética da Vals AI: DeepSeek V4.1 Flash 1017 chega perto da fronteira fechada com cerca de um sétimo do custo
Segundo uma reportagem do The Decoder de 7 de novembro de 2026, o benchmark CyberOffense da Vals AI mostra que o DeepSeek V4.1 Flash 1017, de pesos abertos, invadiu de forma autônoma uma rede corporativa simulada e concluiu 72,8% dos objetivos, a cerca de 3 dólares por execução, enquanto o fechado GPT-6 Sol Daybreak ficou em 80,8% e cerca de 22 dólares; o DeepSeek não pontuou nos primeiros 25 milhões de tokens, e testes curtos subestimam modelos abertos.

O que mudou
Segundo a reportagem do jornalista Matthias Bastian, do The Decoder, publicada em 7 de novembro de 2026, a Vals AI usou o benchmark CyberOffense para testar se agentes conseguem por conta própria invadir uma rede corporativa simulada: cada agente roda sozinho em uma máquina de ataque Kali Linux isolada, partindo apenas de um endereço público e sem assistência humana em momento algum, tendo de percorrer o caminho da aplicação web até um servidor Windows e obter privilégios de administrador, com as operações registradas externamente e pontuadas de forma automática. Os resultados apresentados na reportagem são: o GPT-6 Sol, que faz parte do projeto restrito de cibersegurança Daybreak da OpenAI, concluiu 80,8% dos objetivos; o DeepSeek V4.1 Flash 1017, de pesos abertos, chegou a 72,8%, com custo de cerca de 3 dólares por execução, contra cerca de 22 dólares do primeiro; pesquisadores da Vals afirmam que, uma vez publicados os pesos, nenhum provedor pode controlar ou restringir seu uso. No cenário mais difícil, Lighthouse, o Daybreak concluiu 27 dos 31 objetivos em menos de três horas, e o DeepSeek concluiu 21 com cerca de um décimo do custo, e não apenas por estar limitado por salvaguardas. A reportagem destaca em especial o comprimento da execução: o DeepSeek não pontuou nos primeiros 25 milhões de tokens, e a maior parte do progresso apareceu depois de ultrapassar 100 milhões de tokens. O artigo também cita uma análise de julho da AISI britânica, segundo a qual a diferença de capacidades cibernéticas entre modelos de fronteira abertos e fechados caiu para 4 a 7 meses, além de uma pesquisa da Anthropic sobre a capacidade do GLM-5.3 de construir exploits próxima à de seus modelos internos.
Impacto para desenvolvedores
Para desenvolvedores, o valor desse benchmark não está em quem ficou em primeiro lugar, mas em expor três parâmetros normalmente tratados de forma vaga: orçamento de tokens, custo por objetivo bem-sucedido e quem é responsável pelas salvaguardas. Se a tarefa em si é de longo horizonte, exigindo manter estado entre sistemas e tentar de novo após falhas, avaliar um modelo de pesos abertos com turnos curtos de algumas dezenas de milhares de tokens provavelmente resultará em pontuações próximas de zero, e esse resultado pode ser confundido com uma diferença de capacidade; na reportagem, o DeepSeek não pontua nos primeiros 25 milhões de tokens e só mostra a maior parte do progresso acima de 100 milhões de tokens, o que indica que o orçamento é ele próprio uma variável independente. Em custo, cerca de 3 dólares e cerca de 22 dólares são ordens de grandeza por execução, mas o que importa calcular é o custo por objetivo bem-sucedido: quando a taxa de conclusão difere em alguns pontos percentuais, o gasto para compensar com novas tentativas pode consumir a vantagem de preço unitário (esta é uma inferência analítica feita a partir dos números da reportagem, não uma conclusão dela). No lado da segurança, a reportagem afirma que, depois de publicados, os pesos abertos não permitem que nenhum provedor restrinja o uso, e a pontuação do DeepSeek também não foi reduzida apenas por salvaguardas, o que significa que, ao conectar esse tipo de modelo a agentes com acesso real à rede, sandbox, lista de permissões de saída e auditoria de ações precisam ficar a cargo de quem faz a integração, sem contar com recusas do lado do modelo. Por outro lado, as mesmas capacidades servem para autoverificação: a Vals observa que modelos capazes de explorar vulnerabilidades também podem ajudar empresas a encontrá-las e corrigi-las primeiro, e afirma que ataques a redes reais podem aumentar nos próximos meses. Além disso, a reportagem não informa a licença dos pesos; pesos abertos não equivalem a licença de código aberto, e titularidade e termos de uso comercial precisam ser verificados separadamente.
Integração e avaliação
O que segue são recomendações condicionais, não fatos afirmados pela reportagem. Primeiro, decida o orçamento de avaliação antes de escolher o modelo. A mudança trazida pela reportagem é que execuções curtas subestimam sistematicamente modelos de pesos abertos. Se sua tarefa realmente é de longo horizonte e múltiplos passos, eleve o orçamento de tokens por avaliação para perto da ordem de grandeza citada na reportagem e registre a curva da taxa de conclusão conforme o consumo de tokens cresce, em vez de olhar apenas a pontuação final; o critério é verificar se o modelo quase não se move antes de se aproximar de 100 milhões de tokens e só depois sobe de forma clara. Se a tarefa for apenas pergunta e resposta de um turno ou duas ou três chamadas de ferramenta, isso não se aplica, e basta olhar o desempenho com orçamento pequeno. Segundo, decida pelo custo por objetivo bem-sucedido, não pelo preço por execução. A mudança trazida pela reportagem é: 72,8% contra 80,8%, com custo por execução de cerca de 3 dólares contra cerca de 22 dólares. O procedimento é fixar o mesmo conjunto de tarefas e o mesmo número de novas tentativas e dividir o gasto total pelo número de sucessos. O pressuposto é que seu cenário permita repetir tentativas ou tentativas em paralelo; se uma falha for irreversível, por exemplo por já ter alterado o ambiente de produção, a escolha deve ser pela taxa de conclusão, não pelo preço unitário. O critério mensurável é se, em 20 repetições ou mais, o custo por objetivo bem-sucedido dos dois modelos continua diferindo em uma ordem de grandeza. Preços por token mudam, e os números concretos devem seguir a página de preços da plataforma usada. Terceiro, coloque as salvaguardas na sua própria infraestrutura. A mudança trazida pela reportagem é que, com os pesos publicados, nenhum provedor pode controlar o uso, e o DeepSeek também não foi limitado apenas por salvaguardas. Se esse agente tiver acesso real à rede ou a credenciais, serão necessários lista de permissões de saída de rede, sandbox isolado e registro passo a passo das ações, com confirmação humana para operações de elevação de privilégio; se for apenas uma tarefa offline e somente de leitura, a urgência pode ser menor. O critério é rodar um conjunto interno de tarefas de red team com e sem esses controles e ver quanto cai o número de objetivos concluídos; as medidas de controle devem responder por essa diferença.
Limites e pontos a confirmar
Limitações a preservar: as pontuações e os custos acima vêm do benchmark da Vals AI e dessa reportagem do The Decoder, não são medições próprias deste texto nem foram confirmados pelos provedores dos modelos; a reportagem diz apenas que os pesos estão livremente disponíveis e não informa a licença, portanto não é possível inferir o escopo de uso a partir da disponibilidade dos pesos. A legenda de uma figura do mesmo artigo afirma que o DeepSeek supera outros modelos no cenário Lighthouse, mas sua tabela lista DeepSeek 21, GPT-6 Sol Daybreak 27 e Meta Wonder 28, ou seja, a legenda não bate com a tabela, e o ranking por modelo deve seguir a página original do benchmark da Vals AI. A coluna Nova é a média de 3 execuções, e o intervalo do Daybreak vai de 12 a 19, de modo que diferenças pequenas de pontuação ficam dentro da variação entre execuções. Os cerca de 3 dólares e cerca de 22 dólares, assim como os 1,19 dólar e 85 dólares apresentados pela AISI em julho, vêm de momentos e configurações de teste diferentes, não são diretamente comparáveis entre si e não representam o preço atual de tokens de nenhuma plataforma. O conteúdo da AISI e da Anthropic é citado neste artigo de forma secundária. A reportagem não diz por qual API ou serviço de hospedagem o DeepSeek V4.1 Flash 1017 foi executado, então o custo por execução não pode ser associado a nenhuma tabela de preços; esse nome de versão tem entrada correspondente no catálogo atual do KimiSeek, mas todos os números citados neste artigo vêm da Vals AI e do The Decoder, não são medições do KimiSeek, e antes de integrar consulte a página de preços da plataforma usada.
Ilustrações da notícia original



