姚期智氏と楊植麟氏らがTCSExamを提案:理論計算機科学の100タスクでAIエージェントを評価、Kimi K3はグラフ構成で1本多い辺を提示
雷峰網が2026年11月12日に報じたところによると、姚期智氏と楊植麟氏らの研究者が共同でTCSExamを提案した。理論計算機科学の研究タスク100件でAIエージェントを評価するもので、定理証明、Solver、数学的構成、未解決予想の4トラックに分かれる。報道によれば、Kimi K3は124点で三角形も四角形も現れないよう辺を張る構成タスクにおいて、630本の辺を持つグラフを示し、629本の参考記録を上回り、プログラムによる検証も通過した。報道では関連モデルの重み、ライセンス、課金については言及されていない。

主な変更
雷峰網の2026年11月12日の報道によると、チューリング賞受賞者で清華大学交叉信息研究院院長の姚期智氏と月之暗面創業者の楊植麟氏らの研究者が共同で評価フレームワークTCSExamを提案した。理論計算機科学の研究タスク100件を4つのトラックに分類している。定理証明20件はLean 4による証明の提出を求める。Solver工学30件は再現可能なアルゴリズムプログラムの提出を求める。数学的構成20件は、厳格な制約を満たすグラフや誤り訂正符号などを生成できるかを調べる。未解決予想30件は、証明の成立か反例の提示かいずれの方向からの前進も認める。報道で示された論文番号はarXiv 2611.07962v1。報道によれば、124点に辺を張り、三角形と四角形の出現を禁じる構成タスクで、Kimi K3は630本の辺を持つグラフを示し、従来の参考記録629本を上回り、プログラム検証を通過した。同じ報道によると、GPT-6 Astraは研究級の定理20件のうち14件を完了し、五元有限体上の行列予想について、特定条件下での既知の証明範囲を8次元から9次元へ押し広げた。この証明は71個のLeanモジュールからなるプロジェクトに整理され、独立環境で再コンパイルされ、公理依存関係の検査も完了した。報道はまた、Kimi K3がある試行で7つの中間チェックポイントを完了し、カバー率は87.5%に達したものの、主定理に必要な最終的な導出を完了できなかったと伝えている。Bare、Ladder、Guidedの3つの指導条件下で、Kimi K3はそれぞれ少なくとも3件、4件、7件の異なる定理を完了し、DeepSeek V4.1 Flash 0910はそれぞれ0件、2件、6件だった。報道では、受理されたRyserとMIRUPの反証の一部がOpenAIの公開済み成果の検索と適応によるものであること、残る28件の未解決予想には完全な解決が得られていないことが言及されている。以上はいずれも報道が伝える研究側の主張である。
開発者への影響
開発者にとって、このニュースから持ち帰れるのは辺1本の話ではなく、評価の枠組みそのものである。報道が示すのは、中間補題を提示するか、証明の方針を示すかといった条件の違いによって、同じモデルが完了できる定理数が明確に変わるという点だ。これは報道が示した実験結果にすぎないが、一般的な問題を指し示している。「自律的に完了」を目的とする評価に中間ステップをプロンプトへ書き込めば、測っているのは別のものになり、モデル選定の際に2種類の能力を混同しやすくなる。TCSExamの手法は、Lean 4カーネルで証明を検査して依存関係を監査し、再実行可能なプログラムでアルゴリズムの出力を検査し、チェックポイントで局所的な導出を切り分けるというものだ。同時に、証明AがBを借用し、証明BがAに依存する場合、局所検査がそれぞれ通っても完全な証明にはならないと明言している。この階層的な考え方は自社のエージェント受け入れ工程にそのまま持ち込める。ただし、出力が機械的に検証できること、たとえばコードがコンパイルできるか、制約を満たすか、チェッカーが同じ目的値を再計算できるかが前提となる。報道はまた、受理されたRyserとMIRUPの反証の一部が公開成果の検索と適応によるものだと述べており、自前の問題集では「答えがすでにネット上にある」汚染を防ぐ必要があるという警告になる。さらに報道によれば、SolverトラックにはKimi K3の複数回実行結果に対する標準化スコアが導入されており、この枠組みではKimi K3が同時に参照系の役割も果たす。「参考より優れる」といった表現を読むときは、比較対象が何かをまず確認する必要がある。現実的な制約として、こうしたタスクは研究級であり、問題数が少なく、1問あたりの所要時間もコストも高い。日常の回帰テストとして使うのは現実的ではない。報道はこれらのモデルがどのようなインターフェースで呼び出され、どう課金されるかも説明していないため、単発の記録をそのまま調達や移行の根拠にすべきではない。
導入と評価の提案
以下は報道に基づく条件付きの提案であり、推測と運用上の助言であって、検証済みの事実ではない。第一に、「プロンプトでどれだけ足場を与えたか」を明示的な変数として測ること。報道で観察される変化は、Kimi K3がBare、Ladder、Guidedの3条件でそれぞれ少なくとも3件、4件、7件の異なる定理を完了し、DeepSeek V4.1 Flash 0910が0件、2件、6件だったというものだ。取るべき選択はこうだ。負荷がモデル自身に重要な中間ステップを見つけさせることを求める場合(長距離エージェント、事前に分解できない未解決問題)は、中間ヒントなしの条件を主な参考にする。プロセスにそもそもステップ分解がある場合は、方針を示す条件で評価する。この選択の前提は、タスクを事前に中間目標へ確実に分解できるかどうかである。測定可能な判断基準は、同じタスク群を3つの指導条件でそれぞれ1回ずつ実行し、主定理の完全通過数の差を記録することだ。方針を示す条件がヒントなしの条件より明らかに高いなら、そのモデルは自社のシナリオでの自律性が限られており、予算は人手による分解や追加ラウンドに回す必要がある。第二に、受け入れを「別のモデルに読ませる」から「成果物と独立チェッカー」に替えること。報道から持ち込める仕組みは研究証明書だ。定理はLean 4カーネルで検査し依存関係を監査する。アルゴリズムは再実行可能なプログラムを提出し、チェッカーが合法性を再判定し目的値を再計算する。中間目標は一時的な仮定の下で個別に検査し、主定理は未証明の仮定を外した上で再確認する必要がある。取るべき選択は、出力を機械的に検証できるタスクでは、モデルに結果と検査スクリプトの両方を納品させ、自社のパイプラインで再実行し、再実行が通った場合のみ成功と数えることだ。報道はIWLS 2023の論理合成タスクを例に一組の観察可能な数字を示しているが、これはそのタスクの例示であってSolverトラック全体の結論ではない。GPT-6 Astraはこの100個のインスタンスすべてで有効な回路を生成し、うち22個は公開参考回路より優れ、31個は参考水準に達し、残る47個はより多くのANDゲートを使った。これは「有効」と「より優れる」を分けて集計しなければならないことを示している。測定可能な判断基準は、有効率と参考より優れる割合を2列に分けて記録することだ。実行できるかどうかだけを集計すると、最適化品質の低下がレポートに現れない。第三に、「ほぼ完了」を別に集計すること。報道の典型的なケースは、Kimi K3がある試行で7つの中間チェックポイントを完了しカバー率87.5%に達しながら、主定理に必要な最終導出を完了できず、システムは部分的な成績を保持しつつ完全な証明としては認定しなかったというものだ。取るべき選択は、「部分完了」と「納品通過」を2つのフィールドに分けることであり、1つの総合点にまとめないことだ。そうしないと長いタスクでの能力変化が平均化されてしまう。前提は、タスクを独立に検査できる中間目標へ分解できることだ。測定可能な判断基準は、主定理の通過率と平均チェックポイント・カバー率を同時に記録し、両者の動きが一致しない場合は主定理の通過率を優先することだ。
制限と未確認事項
残しておくべき不確実性がいくつかある。これは研究者が自前で構築した評価であり、報道によれば開発過程で40件超の候補定理が試運転段階で解決済みとなったため問題集から外れており、難易度の較正がなお調整中であることを示す。630本の辺という結果は報道によればプログラムで検証された構成だが、本稿は独立に再現しておらず、第三者による再確認も確認していない。8次元から9次元への拡張は五元有限体上の特殊なケースであり、完全なAlon–Jaeger–Tarsi予想は依然未解決で、報道も残る28件の未解決予想には完全な解が得られていないとしている。したがって単発の記録を汎用的な研究能力と読むべきではない。3つの指導条件での定理完了数は定理証明トラックの一部を覆うのみで、全体のランキングとして扱うこともできない。報道はKimi K3やDeepSeek V4.1 Flash 0910の重み、ライセンス、課金方式に言及しておらず、モデルの提供開始や重み公開のスケジュールも示していない。現在のKimiSeekディレクトリにはKimi K3の同名エントリがあるが、これはあくまでディレクトリの現状であり、報道の実験の再現条件、インターフェース形式、何らかのリリース計画を推測する根拠にはならない。報道に登場するDeepSeek V4.1 Flash 0910というバージョン名は、現在のディレクトリに完全一致するエントリがなく、このバージョンは現時点でKimiSeekに掲載されていない。報道もAPI経由で提供されているかどうかを説明していないため、関連する接続や費用の情報はベンダーの説明と料金ページに従うべきである。
元の報道の図版



















