Yao Qizhi, Yang Zhilin und andere stellen TCSExam vor: 100 Aufgaben aus der theoretischen Informatik bewerten AI-Agenten – Kimi K3 liefert beim Graphenbau eine Kante mehr
Laut einem Bericht von Leiphone vom 12. November 2026 haben Yao Qizhi, Yang Zhilin und weitere Forschende gemeinsam TCSExam vorgeschlagen, ein Set aus 100 Forschungsaufgaben der theoretischen Informatik zur Bewertung von AI-Agenten, aufgeteilt in vier Spuren: Theorembeweise, Solver, mathematische Konstruktionen und offene Vermutungen. Der Bericht besagt, Kimi K3 habe bei einer Konstruktionsaufgabe mit 124 Punkten, bei der Dreiecke und Vierecke verboten sind, einen Graphen mit 630 Kanten geliefert, mehr als der Referenzrekord von 629, und habe die Programmprüfung bestanden; der Bericht erwähnt weder Gewichte noch Lizenz oder Abrechnung der betreffenden Modelle.

Was sich geändert hat
Ein Bericht von Leiphone vom 12. November 2026 besagt, der Turing-Preisträger und Direktor des Instituts für interdisziplinäre Information (IIIS) der Tsinghua-Universität Yao Qizhi und der Gründer von Moonshot AI Yang Zhilin hätten gemeinsam mit weiteren Forschenden das Bewertungsframework TCSExam vorgeschlagen, das 100 Forschungsaufgaben der theoretischen Informatik in vier Spuren unterteilt: 20 Theorembeweise, bei denen Lean-4-Beweise einzureichen sind; 30 Solver-Engineering-Aufgaben, bei denen reproduzierbar lauffähige Algorithmusprogramme einzureichen sind; 20 mathematische Konstruktionen, die prüfen, ob Objekte wie Graphen oder fehlerkorrigierende Codes unter strengen Nebenbedingungen erzeugt werden können; und 30 offene Vermutungen, bei denen sowohl ein Beweis als auch ein Gegenbeispiel zulässig sind. Der Bericht nennt die arXiv-Nummer 2611.07962v1. Bei der Aufgabe, 124 Punkte zu verbinden, ohne Dreiecke oder Vierecke entstehen zu lassen, habe Kimi K3 laut Bericht einen Graphen mit 630 Kanten geliefert, mehr als der bisherige Referenzwert von 629, und die Programmprüfung bestanden. Derselbe Bericht besagt, GPT-6 Astra habe 14 der 20 forschungsnahen Theoreme bewiesen und eine Matrixvermutung über dem fünfelementigen endlichen Körper unter bestimmten Bedingungen von 8 auf 9 Dimensionen erweitert; der Beweis sei als Projekt mit 71 Lean-Modulen zusammengestellt, in einer unabhängigen Umgebung neu kompiliert und einer Prüfung der Axiomabhängigkeiten unterzogen worden. Der Bericht besagt zudem, Kimi K3 habe in einem Versuch 7 Zwischen-Checkpoints abgeschlossen und einen Abdeckungsgrad von 87,5 % erreicht, ohne die für das Haupttheorem nötige abschließende Herleitung zu vollenden; unter den drei Bedingungsstufen Bare, Ladder und Guided habe Kimi K3 mindestens 3, 4 bzw. 7 verschiedene Theoreme bewiesen, DeepSeek V4.1 Flash 0910 jeweils 0, 2 und 6. Der Bericht erwähnt, einige akzeptierte Gegenbeweise zu Ryser und MIRUP stammten aus der Suche nach und Anpassung von bereits von OpenAI veröffentlichten Ergebnissen, und die übrigen 28 offenen Vermutungen seien nicht vollständig gelöst worden. All dies sind Aussagen der Forschungsgruppe, wie der Bericht sie wiedergibt.
Auswirkungen für Entwickler
Für Entwickler ist an dieser Meldung nicht die eine Kante übertragbar, sondern die Messmethodik selbst. Der Bericht zeigt, dass dieselben Modelle je nachdem, ob Zwischenlemmata oder Beweisideen vorgegeben werden, deutlich unterschiedlich viele Theoreme abschließen; das ist zunächst nur ein berichtetes Versuchsergebnis, verweist aber auf ein allgemeines Problem: Jede Evaluation, die auf „selbstständiges Lösen“ zielt, misst etwas anderes, wenn die Hinweise Zwischenschritte enthalten, und bei der Auswahl für Integration lassen sich zwei Fähigkeiten leicht vermischen. TCSExam prüft Beweise mit dem Lean-4-Kernel und auditiert Abhängigkeiten, prüft Algorithmusausgaben mit wiederholbar lauffähigen Programmen, isoliert lokale Herleitungen über Checkpoints und stellt ausdrücklich fest, dass lokale Prüfungen allein keinen vollständigen Beweis ergeben, wenn Beweis A auf B verweist und B wiederum von A abhängt – diese Schichtung lässt sich direkt auf die eigene Agentenabnahme übertragen, sofern die Ausgaben maschinell prüfbar sind, etwa ob Code kompiliert, ob Nebenbedingungen erfüllt sind oder ob ein Prüfer denselben Zielwert nachrechnen kann. Der Bericht erwähnt außerdem, die akzeptierten Gegenbeweise zu Ryser und MIRUP stammten teils aus der Suche nach und Anpassung von öffentlichen Ergebnissen; das erinnert daran, dass selbst gebaute Aufgabensets gegen Kontamination durch im Netz bereits vorhandene Antworten abgesichert werden müssen. Zudem sei in der Solver-Spur eine Normierung relativ zu mehreren Läufen von Kimi K3 eingeführt worden, Kimi K3 diene in diesem Framework also zugleich als Referenz; bei Formulierungen wie „besser als die Referenz“ ist daher zuerst zu klären, womit verglichen wird. Eine realistische Einschränkung: Solche Aufgaben sind forschungsnah, es gibt wenige davon, und Zeit- und Kostenaufwand pro Aufgabe sind hoch; als täglicher Regressionstest taugen sie nicht. Der Bericht sagt auch nicht, über welche Schnittstelle die Modelle aufgerufen wurden und wie abgerechnet wird, daher sollte ein Einzelrekord nicht direkt als Grundlage für Beschaffung oder Migration dienen.
Integration und Bewertung
Im Folgenden handelt es sich um bedingte Empfehlungen auf Basis des Berichts, also um Ableitungen und Handlungsvorschläge, nicht um verifizierte Fakten. Erstens: Behandeln Sie „wie viel Gerüst in der Eingabe steckt“ als explizite Variable im Test. Beobachtbar im Bericht ist, dass Kimi K3 unter Bare, Ladder und Guided mindestens 3, 4 bzw. 7 verschiedene Theoreme abschloss und DeepSeek V4.1 Flash 0910 jeweils 0, 2 und 6. Die Entscheidung: Wenn die Last verlangt, dass das Modell die entscheidenden Zwischenschritte selbst findet (lang laufende Agenten, offene Probleme ohne vorab mögliche Zerlegung), orientieren Sie sich vor allem an der Stufe ohne Zwischenhinweise; wenn Ihr Ablauf ohnehin eine Schrittzerlegung enthält, bewerten Sie nach der Stufe mit Beweisideen. Voraussetzung für diese Wahl ist, dass die Aufgabe zuverlässig vorab in Zwischenziele zerlegbar ist. Messbar ist das, indem dieselben Aufgaben unter allen drei Stufen je einmal laufen und die Differenz der vollständig bestandenen Haupttheoreme erfasst wird; liegt die Stufe mit Beweisideen deutlich über der ohne Hinweise, ist die Selbstständigkeit des Modells in Ihrem Szenario begrenzt, und Budget sollte für manuelle Zerlegung oder zusätzliche Runden eingeplant werden. Zweitens: Ersetzen Sie die Abnahme „ein anderes Modell liest es einmal gegen“ durch „Artefakt plus unabhängiger Prüfer“. Der übertragbare Mechanismus im Bericht ist das Forschungsszertifikat: Theoreme werden vom Lean-4-Kernel geprüft und die Abhängigkeiten auditiert, Algorithmen als wiederholbar lauffähige Programme eingereicht, deren Rechtsgültigkeit der Prüfer neu entscheidet und deren Zielwerte er nachrechnet, Zwischenziele werden unter temporären Annahmen einzeln geprüft, und das Haupttheorem muss ohne unbewiesene Annahmen erneut geprüft werden. Die Entscheidung: Bei Aufgaben mit maschinell prüfbaren Ausgaben verlangen Sie vom Modell zugleich das Ergebnis und ein Prüfskript, das Ihre Pipeline erneut laufen lässt; nur ein erfolgreicher erneuter Lauf zählt als Erfolg. Der Bericht nennt als Beispiel die Logiksynthese-Aufgabe IWLS 2023 mit einer Reihe beobachtbarer Zahlen – dies ist ein Beispiel zu dieser Aufgabe, keine Gesamtaussage zur Solver-Spur: GPT-6 Astra habe in allen 100 Instanzen gültige Schaltkreise erzeugt, davon 22 besser als die öffentliche Referenz, 31 auf Referenzniveau und 47 mit mehr AND-Gattern; das zeigt, dass „gültig“ und „besser“ getrennt erfasst werden müssen. Messbar ist das, indem die Rate gültiger Ergebnisse und der Anteil besser-als-Referenz in zwei getrennten Spalten geführt werden; wird nur erfasst, ob etwas läuft, verschwindet ein Rückgang der Optimierungsqualität lautlos aus dem Bericht. Drittens: Erfassen Sie „fast fertig“ separat. Ein typischer Fall im Bericht: Kimi K3 schloss in einem Versuch 7 Zwischen-Checkpoints ab und erreichte 87,5 % Abdeckung, vollendete aber die für das Haupttheorem nötige abschließende Herleitung nicht; das System behielt das lokale Ergebnis, verweigerte aber die Anerkennung als vollständiger Beweis. Die Entscheidung: Führen Sie „teilweise erledigt“ und „Abnahme bestanden“ als zwei getrennte Felder statt als einen Gesamtwert, sonst mitteln sich Fähigkeitsänderungen bei langen Aufgaben heraus. Voraussetzung ist, dass sich die Aufgabe in unabhängig prüfbare Zwischenziele zerlegen lässt; messbar ist das, indem die Bestehensrate der Haupttheoreme und die durchschnittliche Checkpoint-Abdeckung zugleich erfasst werden, und bei abweichendem Verlauf gilt die Bestehensrate der Haupttheoreme.
Grenzen und offene Fragen
Es bleiben mehrere Unsicherheiten festzuhalten. Dies ist eine von Forschenden selbst gebaute Evaluation: Laut Bericht fielen während der Entwicklung über 40 Kandidatentheoreme aus dem Aufgabenset, weil sie schon in Probeläufen gelöst worden waren, was zeigt, dass die Kalibrierung der Schwierigkeit noch in Bewegung ist. Das Ergebnis mit 630 Kanten ist laut Bericht eine programmgeprüfte Konstruktion; eine unabhängige Reproduktion oder eine Prüfung durch Dritte ist hier nicht erfolgt und nicht bekannt. Die Erweiterung von 8 auf 9 Dimensionen ist ein Sonderfall über dem fünfelementigen endlichen Körper, die vollständige Alon–Jaeger–Tarsi-Vermutung bleibt ungelöst, und laut Bericht wurden die übrigen 28 offenen Vermutungen nicht vollständig gelöst; ein Einzelrekord sollte daher nicht als allgemeine Forschungsfähigkeit gelesen werden. Die Zahl abgeschlossener Theoreme unter den drei Stufen deckt nur einen Teil der Theorembeweis-Spur ab und taugt nicht als Gesamtranking. Der Bericht erwähnt weder Gewichte, Lizenz noch Abrechnung von Kimi K3 oder DeepSeek V4.1 Flash 0910 und nennt auch keinen Zeitplan für eine Veröffentlichung oder Öffnung von Gewichten. Im aktuellen KimiSeek-Katalog gibt es einen gleichnamigen Eintrag zu Kimi K3, doch das ist nur der derzeitige Katalogstand und lässt keine Rückschlüsse auf Reproduktionsbedingungen, Schnittstellenform oder Veröffentlichungspläne der Versuche im Bericht zu; für den im Bericht genannten Versionsnamen DeepSeek V4.1 Flash 0910 gibt es im aktuellen Katalog keinen exakten Eintrag, diese Version ist derzeit nicht auf KimiSeek gelistet, und der Bericht sagt auch nicht, ob sie über eine API angeboten wird; Informationen zu Integration und Kosten sollten den Angaben und Preisseiten des Anbieters entnommen werden.
Abbildungen aus dem Originalbericht



















