Benchmark CyberOffense de Vals AI : DeepSeek V4.1 Flash 1017 approche la frontière des modèles propriétaires pour environ un septième du coût
Selon un article de The Decoder du 7 novembre 2026, le benchmark CyberOffense de Vals AI montre que DeepSeek V4.1 Flash 1017, un modèle à poids ouverts, a atteint 72,8 % des objectifs en pénétrant de façon autonome un réseau d'entreprise simulé, pour environ 3 dollars par exécution, contre 80,8 % et environ 22 dollars pour le modèle propriétaire GPT-6 Sol Daybreak ; DeepSeek obtient un score nul dans les 25 premiers millions de tokens, ce qui fait que les tests courts sous-estiment les modèles à poids ouverts.

Ce qui change
Selon un article du journaliste Matthias Bastian, de The Decoder, daté du 7 novembre 2026, Vals AI a utilisé le benchmark CyberOffense pour tester si des agents pouvaient pénétrer seuls dans un réseau d'entreprise simulé : chaque agent tourne isolément sur une machine d'attaque Kali Linux, avec pour seul point de départ une URL publique et sans assistance humaine ; il doit progresser depuis l'application web jusqu'au serveur Windows et obtenir les droits d'administrateur, les opérations étant enregistrées de l'extérieur et notées automatiquement. Les résultats rapportés sont les suivants : GPT-6 Sol, rattaché au projet cyber Daybreak à accès restreint d'OpenAI, a atteint 80,8 % des objectifs ; DeepSeek V4.1 Flash 1017, à poids ouverts, en a atteint 72,8 %, pour un coût d'environ 3 dollars par exécution contre environ 22 dollars. Les chercheurs de Vals affirment qu'une fois les poids publiés, aucun fournisseur ne peut contrôler ni restreindre leur usage. Dans le scénario Lighthouse, plus difficile, Daybreak a atteint 27 des 31 objectifs en moins de trois heures ; DeepSeek en a atteint 21 pour environ un dixième du coût, et n'était pas seulement bridé par des garde-fous de sécurité. L'article insiste sur la longueur des exécutions : DeepSeek obtient zéro pendant les 25 premiers millions de tokens, et l'essentiel des progrès apparaît au-delà de 100 millions de tokens. L'article cite aussi une analyse de l'AISI britannique de juillet selon laquelle l'écart de capacités cyber entre modèles frontières ouverts et propriétaires s'est réduit à 4 à 7 mois, ainsi que des recherches d'Anthropic selon lesquelles la capacité de GLM-5.3 à construire des exploits approche celle de ses modèles internes.
Conséquences pour les développeurs
Pour les développeurs, la valeur de ce benchmark ne réside pas dans le classement, mais dans la clarification de trois paramètres souvent traités de façon vague : le budget de tokens, le coût par objectif réussi et la responsabilité des garde-fous. Si la tâche est de longue haleine, qu'elle exige de maintenir un état entre systèmes et de réessayer après un échec, évaluer un modèle à poids ouverts avec des tours courts de quelques dizaines de milliers de tokens risque fort de produire un score proche de zéro et de faire passer ce résultat pour un écart de capacité ; dans l'article, DeepSeek reste à zéro pendant les 25 premiers millions de tokens et l'essentiel des progrès apparaît au-delà de 100 millions de tokens, ce qui montre que le budget est lui-même une variable explicative. Sur le coût, les quelque 3 dollars et 22 dollars donnent un ordre de grandeur par exécution, mais le calcul pertinent est celui du coût par objectif réussi : lorsque les taux de réussite diffèrent de quelques points, le coût des nouvelles tentatives pour combler l'écart peut absorber l'avantage du prix unitaire (il s'agit d'une inférence analytique fondée sur les chiffres de l'article, non d'une conclusion de l'article). Côté sécurité, l'article indique qu'après la publication des poids, aucun fournisseur ne peut restreindre l'usage, et que le score de DeepSeek n'est pas uniquement abaissé par les garde-fous ; cela signifie que, lorsqu'on intègre ce type de modèle dans un agent doté d'un accès réseau réel, le bac à sable, la liste blanche des sorties réseau et l'audit des actions incombent à l'intégrateur, sans pouvoir compter sur un refus du côté du modèle. À l'inverse, les mêmes capacités peuvent servir à des contrôles internes : Vals note qu'un modèle capable d'exploiter une vulnérabilité peut aussi aider une entreprise à la trouver et à la corriger en amont, et estime que les attaques contre des réseaux réels pourraient augmenter dans les prochains mois. Enfin, l'article ne précise pas la licence des poids ; des poids ouverts ne valent pas une licence open source, et les droits de propriété comme les conditions d'usage commercial doivent être vérifiés séparément.
Intégration et évaluation
Voici des recommandations conditionnelles, et non des faits énoncés dans l'article. Premièrement, fixez le budget d'évaluation avant de choisir le modèle. L'article montre que les exécutions courtes sous-estiment systématiquement les modèles à poids ouverts. Si votre tâche est réellement longue et multi-étapes, portez le budget de tokens par évaluation autour de l'ordre de grandeur cité dans l'article, et enregistrez la courbe du taux d'objectifs atteints en fonction de la consommation de tokens, plutôt que de ne regarder que le score final ; le critère est de savoir si le modèle stagne presque jusqu'à approcher 100 millions de tokens, puis progresse nettement. Si la tâche se limite à une question-réponse en un seul tour ou à deux ou trois appels d'outils, cette recommandation ne s'applique pas : observez les performances avec un petit budget. Deuxièmement, arbitrez selon le coût par objectif réussi, et non selon le prix d'une exécution. L'article indique 72,8 % contre 80,8 %, pour un coût par exécution d'environ 3 dollars contre environ 22 dollars. La méthode consiste à fixer le même ensemble de tâches et le même nombre de nouvelles tentatives, puis à diviser la dépense totale par le nombre de réussites. Cela suppose que votre scénario autorise les nouvelles tentatives ou les essais en parallèle ; si un échec est irréversible, par exemple après une modification de l'environnement de production, il faut choisir selon le taux de réussite et non selon le prix unitaire. Le critère mesurable est le suivant : sur plus de 20 répétitions, le coût par objectif réussi des deux modèles diffère-t-il encore d'un ordre de grandeur ? Les prix au token évoluent ; les chiffres exacts sont ceux de la page tarifaire de la plateforme utilisée. Troisièmement, placez les garde-fous dans votre propre infrastructure. L'article indique qu'après la publication des poids, aucun fournisseur ne peut contrôler l'usage, et que DeepSeek n'est pas uniquement bridé par des garde-fous de sécurité. Si cet agent dispose d'un accès réseau réel ou d'identifiants, il faut une liste blanche des sorties réseau, un bac à sable isolé et une trace pas à pas des actions, avec une confirmation humaine pour les opérations d'élévation de privilèges ; pour une tâche hors ligne en lecture seule, l'urgence peut être moindre. Le critère : exécutez une série de tâches internes de red team avec et sans ces contrôles, et mesurez de combien le nombre d'objectifs atteints diminue ; les contrôles doivent répondre de cet écart.
Limites et points à confirmer
Limites à conserver : les scores et coûts ci-dessus proviennent du benchmark de Vals AI et de cet article de The Decoder ; ils ne résultent pas de tests réalisés pour cet article et n'ont pas été confirmés par les fournisseurs des modèles. L'article indique seulement que les poids sont librement accessibles, sans préciser la licence ; on ne peut donc pas déduire l'étendue des droits d'usage de la disponibilité des poids. La légende d'une figure du même article affirme que DeepSeek dépasse d'autres modèles dans le scénario Lighthouse, mais son tableau indique DeepSeek 21, GPT-6 Sol Daybreak 27 et Meta Wonder 28 : la légende ne correspond pas au tableau, et le classement par modèle doit être vérifié sur la page du benchmark original de Vals AI. La colonne Nova est une moyenne de 3 exécutions ; la plage de Daybreak va de 12 à 19, et les petits écarts de score restent dans la variabilité des exécutions. Les quelque 3 dollars et 22 dollars, comme les 1,19 dollar et 85 dollars donnés par l'AISI en juillet, viennent de moments et de dispositifs de test différents ; ils ne sont pas directement comparables entre eux et ne représentent pas le prix actuel des tokens sur une plateforme. Les éléments concernant l'AISI et Anthropic sont des citations secondaires dans cet article. L'article ne précise pas par quelle API ou quel service d'hébergement DeepSeek V4.1 Flash 1017 a été exécuté ; le coût par exécution ne peut donc pas être rattaché à une grille tarifaire précise. Ce nom de version a une entrée correspondante dans le catalogue actuel de KimiSeek, mais tous les chiffres cités ici proviennent de Vals AI et de The Decoder, et non de mesures de KimiSeek ; avant toute intégration, consultez la page tarifaire de la plateforme utilisée.
Illustrations de l’article original



