← Toutes les actualités

TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3

Le 12 novembre 2026, Leiphone a rapporté que des chercheurs dont Andrew Yao et Yang Zhilin ont proposé TCSExam, un ensemble de 100 tâches de recherche en informatique théorique pour évaluer les agents IA, réparties en quatre pistes : preuve de théorèmes, Solver, constructions mathématiques et conjectures ouvertes. Le rapport indique que Kimi K3 a produit, sur une construction à 124 sommets interdisant triangles et quadrilatères, un graphe de 630 arêtes, au-delà du record de référence de 629, et validé par programme ; il ne mentionne ni les poids, ni la licence, ni la tarification des modèles concernés.

Publication Mise à jour
Image de couverture de l’article original — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Image de couverture de l’article originalArticle original ↗

Ce qui change

Un rapport du Leiphone daté du 12 novembre 2026 indique que le lauréat du prix Turing et directeur de l'Institut interdisciplinaire d'information de l'Université Tsinghua, Andrew Yao, le fondateur de Moonshot AI, Yang Zhilin, et d'autres chercheurs ont proposé conjointement le cadre d'évaluation TCSExam, qui répartit 100 tâches de recherche en informatique théorique en quatre pistes : 20 tâches de preuve de théorèmes, avec soumission de preuves Lean 4 ; 30 tâches d'ingénierie Solver, avec soumission de programmes d'algorithmes reproductibles ; 20 tâches de construction mathématique, évaluant la capacité à générer des objets comme des graphes ou des codes correcteurs satisfaisant des contraintes strictes ; et 30 conjectures ouvertes, pouvant être abordées soit par une preuve, soit par un contre-exemple. Le rapport donne comme référence arXiv 2611.07962v1. Selon le rapport, sur la tâche consistant à relier 124 sommets sans triangle ni quadrilatère, Kimi K3 a produit un graphe de 630 arêtes, dépassant le record de référence de 629, et validé par programme. Le même rapport indique que GPT-6 Astra a résolu 14 des 20 théorèmes de niveau recherche et a étendu de 8 à 9 dimensions le domaine de preuve connu, sous certaines conditions, d'une conjecture matricielle sur un corps fini à cinq éléments ; cette preuve a été organisée en un projet de 71 modules Lean, recompilée dans un environnement indépendant avec vérification des dépendances axiomatiques. Le rapport indique aussi que Kimi K3, lors d'une tentative, a franchi 7 checkpoints intermédiaires avec un taux de couverture de 87,5 %, sans achever la dérivation finale requise pour le théorème principal ; sous les trois conditions d'orientation Bare, Ladder et Guided, Kimi K3 a résolu au moins 3, 4 et 7 théorèmes distincts respectivement, contre 0, 2 et 6 pour DeepSeek V4.1 Flash 0910. Le rapport mentionne que certains contre-exemples acceptés à Ryser et MIRUP proviennent de la recherche et de l'adaptation de résultats déjà publics d'OpenAI, et que les 28 autres conjectures ouvertes n'ont pas reçu de solution complète. Tous ces éléments sont des déclarations des chercheurs relayées par le rapport.

Conséquences pour les développeurs

Pour les développeurs, ce qui est transférable ici n'est pas l'arête supplémentaire, mais la méthodologie d'évaluation elle-même. Le rapport montre que, selon que des lemmes intermédiaires sont fournis ou non et selon que des pistes de preuve sont données ou non, le nombre de théorèmes résolus par un même modèle varie nettement ; ce n'est qu'un résultat expérimental rapporté, mais il pointe un problème général : toute évaluation visant une « réalisation autonome » mesure autre chose si l'invite contient des étapes intermédiaires, et lors d'un choix d'intégration on risque de confondre deux capacités. TCSExam vérifie les preuves avec le noyau Lean 4 et audite les dépendances, contrôle les sorties algorithmiques par des programmes réexécutables, isole les dérivations locales par checkpoints, et précise qu'une preuve A empruntant à B, tandis que B dépend de A, ne constitue pas une preuve complète même si les vérifications locales passent séparément. Cette approche par couches peut être reprise directement dans ses propres recettes d'acceptation d'agents, à condition que les sorties soient mécaniquement vérifiables : le code compile-t-il, les contraintes sont-elles satisfaites, le vérificateur peut-il recalculer la même valeur cible. Le rapport indique aussi que les contre-exemples acceptés à Ryser et MIRUP proviennent en partie de la recherche et de l'adaptation de résultats publics, ce qui rappelle qu'une banque de tâches maison doit se prémunir contre la contamination par des « réponses déjà en ligne ». Par ailleurs, le rapport indique que la piste Solver introduit une notation normalisée par rapport aux résultats de plusieurs exécutions de Kimi K3 : dans ce cadre, Kimi K3 sert donc aussi de référentiel, et face à des formulations comme « meilleur que la référence », il faut d'abord identifier l'objet de comparaison. La contrainte réaliste est que ces tâches sont de niveau recherche, peu nombreuses et coûteuses en temps comme en budget par énoncé ; en faire un test de régression quotidien n'est pas réaliste. Le rapport ne précise pas non plus par quelle interface ces modèles ont été appelés ni comment ils sont facturés ; un record ponctuel ne doit donc pas servir directement de base à un achat ou à une migration.

Intégration et évaluation

Voici des recommandations conditionnelles fondées sur le rapport ; il s'agit d'inférences et de suggestions opérationnelles, non de faits vérifiés. Premièrement, traiter explicitement la quantité d'échafaudage fournie dans l'invite comme une variable à tester. Le rapport observe que Kimi K3 résout au moins 3, 4 et 7 théorèmes distincts selon les conditions Bare, Ladder et Guided, contre 0, 2 et 6 pour DeepSeek V4.1 Flash 0910. Le choix à faire : si la charge exige du modèle qu'il trouve lui-même les étapes intermédiaires clés (agents longue portée, problèmes ouverts non décomposables à l'avance), prendre comme référence principale le niveau sans indices intermédiaires ; si le processus prévoit déjà une décomposition, évaluer au niveau où des pistes sont fournies. Ce choix dépend de la possibilité de décomposer de façon fiable la tâche en objectifs intermédiaires. Critère mesurable : exécuter le même lot de tâches dans les trois niveaux d'orientation et consigner l'écart du nombre de théorèmes principaux entièrement validés ; si le niveau avec pistes dépasse nettement celui sans indices, l'autonomie du modèle dans votre contexte est limitée et le budget doit être réservé à la décomposition manuelle ou à des tours supplémentaires. Deuxièmement, remplacer l'acceptation par « faire relire un autre modèle » par « artefact plus vérificateur indépendant ». Le mécanisme transférable du rapport est le certificat de recherche : les théorèmes sont confiés au noyau Lean 4 avec audit des dépendances, les algorithmes sont soumis comme programmes réexécutables dont un vérificateur réévalue la validité et recalcule la valeur cible, les objectifs intermédiaires sont vérifiés séparément sous hypothèses temporaires, et le théorème principal doit être revérifié après retrait des hypothèses non prouvées. Le choix à faire : pour les tâches dont la sortie est mécaniquement vérifiable, exiger du modèle à la fois le résultat et un script de vérification, que votre pipeline réexécute ; seule une réexécution réussie compte comme succès. Le rapport donne, à titre d'exemple sur la tâche de synthèse logique IWLS 2023 et non comme conclusion générale de la piste Solver, des chiffres observables : GPT-6 Astra a généré des circuits valides sur les 100 instances, dont 22 meilleurs que le circuit de référence public, 31 au niveau de la référence et 47 utilisant davantage de portes AND ; cela montre que « valide » et « meilleur » doivent être comptés séparément. Critère mesurable : consigner le taux de validité et la proportion de résultats meilleurs que la référence dans deux colonnes distinctes ; sinon, en ne comptant que l'exécution réussie, une baisse de qualité d'optimisation n'apparaîtra pas dans les rapports. Troisièmement, compter séparément les « presque terminés ». Le rapport cite le cas typique où Kimi K3, lors d'une tentative, a franchi 7 checkpoints intermédiaires avec 87,5 % de couverture sans achever la dérivation finale requise pour le théorème principal, le système conservant le score local mais refusant de reconnaître une preuve complète. Le choix à faire : séparer « partiellement terminé » et « livraison validée » en deux champs plutôt que de les fondre en un score unique, faute de quoi les variations de capacité sur les tâches longues sont moyennées. Condition : pouvoir découper la tâche en objectifs intermédiaires vérifiables indépendamment. Critère mesurable : enregistrer simultanément le taux de réussite du théorème principal et la couverture moyenne des checkpoints ; en cas de divergence, retenir le taux du théorème principal.

Limites et points à confirmer

Plusieurs incertitudes doivent être conservées. Il s'agit d'une évaluation construite par les chercheurs eux-mêmes : le rapport indique que plus de 40 théorèmes candidats ont été retirés de la banque parce qu'ils avaient déjà été résolus lors des essais, ce qui montre que le calibrage de la difficulté est encore en ajustement. Le résultat des 630 arêtes est, selon le rapport, une construction validée par programme ; cet article ne l'a pas reproduit et n'a pas vu de vérification tierce. Le passage de 8 à 9 dimensions concerne un cas particulier sur un corps fini à cinq éléments ; la conjecture complète d'Alon–Jaeger–Tarsi reste ouverte, et le rapport indique aussi que les 28 autres conjectures ouvertes n'ont pas reçu de solution complète : un record ponctuel ne doit donc pas être lu comme une capacité de recherche générale. Le nombre de théorèmes résolus sous les trois niveaux d'orientation ne couvre qu'une partie de la piste de preuve de théorèmes et ne peut servir de classement global. Le rapport ne mentionne ni les poids, ni la licence, ni la tarification de Kimi K3 ou de DeepSeek V4.1 Flash 0910, et ne donne aucun calendrier de mise en ligne ou de publication des poids. Dans le catalogue actuel de KimiSeek, Kimi K3 dispose d'une entrée du même nom, mais ce n'est que l'état actuel du catalogue : cela ne permet pas d'inférer les conditions de reproduction des expériences du rapport, la forme d'interface ni aucun plan de publication ; le nom de version DeepSeek V4.1 Flash 0910 figurant dans le rapport n'a pas d'entrée exacte correspondante dans le catalogue actuel, cette version n'est pas listée sur KimiSeek, et le rapport ne précise pas si elle est proposée via API ; les informations d'intégration et de coût doivent être vérifiées auprès des indications et pages tarifaires du fournisseur.

Illustrations de l’article original

Illustration de l’article original 1 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 1Article original ↗
Illustration de l’article original 2 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 2Article original ↗
Illustration de l’article original 3 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 3Article original ↗
Illustration de l’article original 4 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 4Article original ↗
Illustration de l’article original 5 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 5Article original ↗
Illustration de l’article original 6 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 6Article original ↗
Illustration de l’article original 7 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 7Article original ↗
Illustration de l’article original 8 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 8Article original ↗
Illustration de l’article original 9 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 9Article original ↗
Illustration de l’article original 10 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 10Article original ↗
Illustration de l’article original 11 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 11Article original ↗
Illustration de l’article original 12 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 12Article original ↗
Illustration de l’article original 13 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 13Article original ↗
Illustration de l’article original 14 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 14Article original ↗
Illustration de l’article original 15 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 15Article original ↗
Illustration de l’article original 16 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 16Article original ↗
Illustration de l’article original 17 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 17Article original ↗
Illustration de l’article original 18 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 18Article original ↗
Illustration de l’article original 19 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 19Article original ↗
Illustration de l’article original 20 — TCSExam : 100 tâches de recherche en informatique théorique pour évaluer les agents IA, un graphe à 630 arêtes signalé pour Kimi K3
Illustration de l’article original 20Article original ↗

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

姚期智杨植麟首次联手给 AI 出的博士级题目,Kimi 多画出了「关键一条边」

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.