Yao Qizhi, Yang Zhilin e outros propõem o TCSExam: 100 tarefas de teoria da computação para avaliar agentes de IA; Kimi K3 obtém construção em teoria dos grafos com 1 aresta a mais
Em 12 de novembro de 2026, o Leiphone relatou que Yao Qizhi, Yang Zhilin e outros pesquisadores propuseram em conjunto o TCSExam, que avalia agentes de IA com 100 tarefas de pesquisa em teoria da computação, divididas em quatro trilhas: prova de teoremas, Solver, construções matemáticas e conjecturas abertas. O relato afirma que o Kimi K3, numa tarefa de construção com 124 pontos, sem triângulos nem quadriláteros, produziu um grafo com 630 arestas, superando o recorde de referência de 629 e passando por verificação por programa; a reportagem não menciona pesos, licenças nem cobrança dos modelos envolvidos.

O que mudou
Uma reportagem do Leiphone de 12 de novembro de 2026 afirma que o ganhador do Prêmio Turing e diretor do Instituto de Informação Interdisciplinar da Universidade Tsinghua, Yao Qizhi, o fundador da Moonshot AI, Yang Zhilin, e outros pesquisadores propuseram em conjunto o framework de avaliação TCSExam, que divide 100 tarefas de pesquisa em teoria da computação em quatro trilhas: 20 tarefas de prova de teoremas, que exigem a submissão de provas em Lean 4; 30 tarefas de engenharia de Solver, que exigem a submissão de programas de algoritmo executáveis de forma repetível; 20 tarefas de construção matemática, que avaliam a capacidade de gerar objetos como grafos e códigos corretores de erros que satisfaçam restrições rigorosas; e 30 conjecturas abertas, que permitem avançar tanto pela confirmação da prova quanto pela apresentação de contraexemplos. O número do artigo citado na reportagem é arXiv 2611.07962v1. A reportagem afirma que, na tarefa de construção que liga 124 pontos sem permitir triângulos nem quadriláteros, o Kimi K3 apresentou um grafo com 630 arestas, superando o recorde de referência anterior de 629, e passou por verificação por programa. A mesma reportagem afirma que o GPT-6 Astra concluiu 14 das 20 provas de nível de pesquisa e ampliou de 8 para 9 dimensões o escopo conhecido de uma prova, sob condições específicas, de uma conjectura de matrizes sobre o corpo finito de cinco elementos; essa prova foi organizada num projeto com 71 módulos Lean, recompilado em ambiente independente e submetido à verificação de dependências axiomáticas. A reportagem também afirma que o Kimi K3, numa tentativa, completou 7 checkpoints intermediários, com cobertura de 87,5%, mas não concluiu a derivação final exigida pelo teorema principal; sob as três condições de orientação Bare, Ladder e Guided, o Kimi K3 completou pelo menos 3, 4 e 7 teoremas distintos, respectivamente, enquanto o DeepSeek V4.1 Flash 0910 completou 0, 2 e 6. A reportagem menciona que parte dos contraexemplos aceitos de Ryser e MIRUP veio da busca e adaptação de resultados já publicados pela OpenAI, e que as outras 28 conjecturas abertas não receberam solução completa. Todas essas afirmações são declarações dos pesquisadores reproduzidas pela reportagem.
Impacto para desenvolvedores
Para os desenvolvedores, a parte transferível desta notícia não é aquela aresta a mais, mas o próprio critério de avaliação. A reportagem mostra que o mesmo modelo, sob condições diferentes quanto a fornecer ou não lemas intermediários e ideias de prova, apresenta variação clara no número de teoremas concluídos; isso é apenas um resultado experimental relatado, mas aponta para uma questão geral: qualquer avaliação voltada à "conclusão autônoma", se o prompt inclui etapas intermediárias, mede outra coisa, e na hora de escolher um modelo para integração é fácil misturar as duas capacidades. A abordagem do TCSExam é verificar provas com o kernel Lean 4 e auditar dependências, checar a saída de algoritmos com programas reexecutáveis e isolar derivações parciais com checkpoints, além de afirmar explicitamente que, quando a prova A usa B e a prova B depende de A, a aprovação de cada verificação local não constitui uma prova completa — essa ideia de estratificação pode ser levada diretamente para a etapa de aceitação do seu próprio agente, desde que a saída possa ser verificada mecanicamente, por exemplo, se o código compila, se as restrições são satisfeitas e se o verificador consegue recalcular o mesmo valor objetivo. A reportagem também menciona que parte dos contraexemplos aceitos de Ryser e MIRUP veio de busca e adaptação de resultados públicos, o que serve de alerta para que bancos de questões próprios se protejam da contaminação por "respostas já disponíveis na internet". Além disso, a reportagem afirma que a trilha Solver introduziu uma pontuação padronizada em relação aos resultados de múltiplas execuções do Kimi K3, ou seja, nesse framework o Kimi K3 também serve como referência; ao ler expressões como "melhor que a referência", é preciso primeiro confirmar qual é o objeto de comparação. A restrição realista é que essas tarefas são de nível de pesquisa, em pequena quantidade, com alto custo e tempo por questão, e não é realista usá-las como teste de regressão diário; a reportagem também não esclarece por qual interface esses modelos foram chamados nem como são cobrados, portanto não convém tomar um recorde pontual como base direta para compra ou migração.
Integração e avaliação
As sugestões a seguir são condicionais e baseadas na reportagem; são inferências e recomendações operacionais, não fatos verificados. Primeiro, trate "quanto andaime o prompt fornece" como uma variável explícita de teste. A variação observável na reportagem é: o Kimi K3 completou pelo menos 3, 4 e 7 teoremas distintos sob as condições Bare, Ladder e Guided, respectivamente, e o DeepSeek V4.1 Flash 0910 completou 0, 2 e 6. A escolha a fazer é: se a carga exige que o modelo encontre sozinho as etapas intermediárias cruciais (agentes de longo prazo, problemas abertos que não podem ser decompostos previamente), use como referência principal o nível sem dicas intermediárias; se o processo já inclui decomposição de etapas, avalie pelo nível que fornece ideias. A premissa dessa escolha é se a tarefa pode ser decomposta de forma confiável em objetivos intermediários. O critério mensurável é rodar o mesmo lote de tarefas uma vez em cada um dos três níveis de orientação e registrar a diferença no número de teoremas principais concluídos por completo; se o nível com ideias for claramente superior ao sem dicas, isso indica autonomia limitada do modelo no seu cenário, e o orçamento deve ser reservado para decomposição manual ou rodadas adicionais. Segundo, troque a aceitação de "pedir a outro modelo para ler" por "artefato mais verificador independente". O mecanismo transferível da reportagem é o certificado de pesquisa: o teorema vai para o kernel Lean 4, que verifica e audita dependências; o algoritmo é submetido como programa reexecutável, e o verificador reavalia a validade e recalcula o valor objetivo; os objetivos intermediários são checados separadamente sob hipóteses temporárias; e o teorema principal precisa ser reexaminado após a remoção das hipóteses não provadas. A escolha a fazer é: para tarefas cuja saída pode ser verificada mecanicamente, exigir que o modelo entregue o resultado junto com um script de verificação, que seu pipeline reexecute, e só contar como sucesso se a reexecução passar. A reportagem cita o exemplo da tarefa de síntese lógica do IWLS 2023 e dá um conjunto de números observáveis, que são um exemplo dessa tarefa e não uma conclusão geral da trilha Solver: o GPT-6 Astra gerou circuitos válidos nos 100 casos, dos quais 22 superaram o circuito de referência público, 31 ficaram no nível da referência e outros 47 usaram mais portas AND; isso mostra que "válido" e "melhor" precisam ser contados separadamente. O critério mensurável é registrar em duas colunas a taxa de validade e a proporção de resultados melhores que a referência; caso contrário, se você só conta se roda ou não, a queda na qualidade de otimização não aparece no relatório. Terceiro, conte separadamente o "quase concluído". O caso típico na reportagem é o Kimi K3 que, numa tentativa, completou 7 checkpoints intermediários, com cobertura de 87,5%, mas não concluiu a derivação final exigida pelo teorema principal, e o sistema manteve o resultado parcial mas recusou considerá-lo prova completa. A escolha a fazer é separar "conclusão parcial" e "entrega aprovada" em dois campos, em vez de combiná-los num único escore, pois, do contrário, mudanças de capacidade em tarefas longas são diluídas na média. A premissa é conseguir decompor a tarefa em objetivos intermediários verificáveis de forma independente; o critério mensurável é registrar simultaneamente a taxa de aprovação do teorema principal e a cobertura média de checkpoints, e, quando as duas tendências divergirem, priorizar a taxa de aprovação do teorema principal.
Limites e pontos a confirmar
Há várias incertezas a preservar. Esta é uma avaliação construída pelos próprios pesquisadores: a reportagem afirma que, durante o desenvolvimento, mais de 40 teoremas candidatos foram retirados do banco de questões por já terem sido resolvidos na fase de testes, o que indica que a calibração de dificuldade ainda está em ajuste. O resultado de 630 arestas é, segundo a reportagem, uma construção verificada por programa; este texto não a reproduziu de forma independente nem viu revisão por terceiros; a passagem de 8 para 9 dimensões é um caso especial no corpo finito de cinco elementos, e a conjectura completa de Alon–Jaeger–Tarsi continua em aberto, e a reportagem também diz que as outras 28 conjecturas abertas não receberam solução completa, portanto não convém ler um recorde pontual como capacidade de pesquisa geral. Os números de teoremas concluídos sob as três condições de orientação cobrem apenas parte da trilha de prova de teoremas e não podem ser tomados como ranking geral. A reportagem não menciona pesos, licenças nem formas de cobrança do Kimi K3 ou do DeepSeek V4.1 Flash 0910, nem apresenta qualquer cronograma de lançamento ou de abertura de pesos de qualquer modelo. No catálogo atual do KimiSeek, o Kimi K3 tem uma entrada de mesmo nome, mas isso é apenas o estado atual do catálogo e não serve para inferir as condições de reprodução dos experimentos da reportagem, a forma de interface ou qualquer plano de lançamento; o nome de versão DeepSeek V4.1 Flash 0910 citado na reportagem não tem entrada correspondente exata no catálogo atual, essa versão não está listada no KimiSeek neste momento, e a reportagem também não diz se ela é oferecida via API, portanto informações de integração e custo devem se basear nas declarações e na página de preços do fabricante.
Ilustrações da notícia original



















