야오치즈·양즈린 등, 이론 컴퓨터 과학 100개 과제로 AI 에이전트 평가하는 TCSExam 제안…Kimi K3는 그래프 구성에서 참조 기록보다 1개 많은 변 생성
레이펑왕이 2026년 11월 12일 보도한 내용에 따르면, 야오치즈와 양즈린 등 연구자들이 이론 컴퓨터 과학 연구 과제 100개로 AI 에이전트를 평가하는 TCSExam을 공동 제안했으며, 정리 증명, Solver, 수학 구성, 공개 추측의 네 트랙으로 나뉜다. 보도에 따르면 Kimi K3는 124개 점에서 삼각형과 사각형이 나타나지 않아야 하는 구성 과제에서 630개 변의 그래프를 제시해 629개 참조 기록을 넘었고 프로그램 검증을 통과했다. 보도에서는 관련 모델의 가중치, 라이선스, 과금 방식은 언급하지 않았다.

주요 변화
레이펑왕의 2026년 11월 12일 보도에 따르면, 튜링상 수상자이자 칭화대학교 교차정보연구원 원장인 야오치즈와 월지암면 창업자 양즈린 등 연구자들이 평가 프레임워크 TCSExam을 공동 제안했으며, 이론 컴퓨터 과학 연구 과제 100개를 네 트랙으로 나눈다. 정리 증명 20개는 Lean 4 증명 제출을 요구하고, Solver 엔지니어링 30개는 반복 실행 가능한 알고리즘 프로그램 제출을 요구하며, 수학 구성 20개는 엄격한 제약을 만족하는 그래프나 오류 정정 부호 같은 대상을 생성할 수 있는지 평가하고, 공개 추측 30개는 증명 성립 또는 반례 제시 두 방향으로 진전시키는 것을 허용한다. 보도에서 제시된 논문 번호는 arXiv 2611.07962v1이다. 보도에 따르면 124개 점을 잇되 삼각형과 사각형이 나타나지 않아야 하는 구성 과제에서 Kimi K3는 630개 변의 그래프를 제시해 이전 629개 참조 기록을 넘었고 프로그램 검증을 통과했다. 같은 보도에 따르면 GPT-6 Astra는 연구급 정리 20개 중 14개를 완료했고, 오원 유한체 위의 한 행렬 추측에 대해 특정 조건에서 알려진 증명 범위를 8차원에서 9차원으로 확장했다. 이 증명은 71개 Lean 모듈을 포함한 프로젝트로 정리되어 독립 환경에서 다시 컴파일되고 공리 의존성 검사를 마쳤다. 보도는 또한 Kimi K3가 어느 시도에서 중간 Checkpoint 7개를 완료해 커버리지 87.5%에 이르렀지만 주 정리에 필요한 최종 추론은 완료하지 못했다고 전한다. Bare, Ladder, Guided 세 가지 지도 조건에서 Kimi K3는 각각 최소 3, 4, 7개의 서로 다른 정리를 완료했고, DeepSeek V4.1 Flash 0910은 각각 0, 2, 6개였다. 보도는 일부 채택된 Ryser와 MIRUP 반증이 OpenAI가 이미 공개한 성과를 검색해 적용한 데서 나왔으며, 나머지 공개 추측 28개는 완전한 해결책을 얻지 못했다고 언급했다. 이상은 모두 보도가 전한 연구진의 진술이다.
개발자에게 미치는 영향
개발자에게 이 뉴스에서 전용 가능한 부분은 그 변 하나가 아니라 평가 기준 자체다. 보도에 따르면 같은 모델이 중간 보조정리를 제공하는지, 증명 착상을 제시하는지에 따라 완료한 정리 수가 뚜렷하게 달라졌다. 이는 보도가 제시한 실험 결과일 뿐이지만 보편적인 문제를 가리킨다. '자율 완료'를 목표로 하는 모든 평가에서 프롬프트에 중간 단계가 적혀 있다면 측정되는 것은 다른 능력이며, 도입 모델 선정 시 두 능력을 뒤섞어 논하기 쉽다. TCSExam의 방식은 Lean 4 커널로 증명을 검사하고 의존성을 감사하며, 재실행 가능한 프로그램으로 알고리즘 출력을 확인하고, Checkpoint로 국소 추론을 분리하는 것이다. 동시에 증명 A가 B를 빌리고 증명 B가 다시 A에 의존할 때 국소 검사가 각각 통과해도 완전한 증명이 되지 않는다고 명시한다. 이 계층적 사고는 자체 에이전트 검수 단계에 그대로 옮길 수 있으며, 전제는 출력이 기계적으로 검사 가능해야 한다는 것이다. 예를 들어 코드가 컴파일되는지, 제약을 만족하는지, 검사기가 같은 목표값을 다시 계산할 수 있는지다. 보도는 또한 채택된 Ryser와 MIRUP 반증 일부가 공개 성과를 검색해 적용한 데서 나왔다고 언급하는데, 이는 자체 문제 은행에서 '정답이 이미 인터넷에 있는' 오염을 경계해야 한다는 뜻이다. 또 보도에 따르면 Solver 트랙은 Kimi K3의 여러 번 실행 결과에 대한 표준화 점수를 도입했는데, 즉 이 프레임워크에서 Kimi K3가 동시에 참조 기준 역할을 한다. '참조보다 우수' 같은 표현을 읽을 때는 비교 대상이 누구인지 먼저 확인해야 한다. 현실적 제약은 이런 과제가 연구급이라 과제 수가 적고 문항당 소요 시간과 비용이 높아 일상 회귀 테스트로 삼기 어렵다는 점이다. 보도도 이 모델들이 어떤 인터페이스로 호출되었는지, 어떻게 과금되는지 설명하지 않으므로 단일 기록을 곧바로 구매나 마이그레이션 근거로 삼아서는 안 된다.
연동 및 평가 제안
다음은 보도에 기반한 조건부 제안이며, 추론과 운영 조언이지 검증된 사실이 아니다. 첫째, '프롬프트에 얼마나 많은 발판을 주었는가'를 명시적 변수로 측정하라. 보도에서 관찰 가능한 변화는 Kimi K3가 Bare, Ladder, Guided 세 조건에서 각각 최소 3, 4, 7개의 서로 다른 정리를 완료했고 DeepSeek V4.1 Flash 0910은 0, 2, 6개였다는 것이다. 선택할 것은, 워크로드가 모델 스스로 핵심 중간 단계를 찾아야 한다면(장기 Agent, 사전 분해가 불가능한 공개 문제) 중간 힌트가 없는 단계를 주 참고로 삼고, 프로세스에 원래 단계 분해가 있다면 착상을 제공하는 단계로 평가하는 것이다. 이 선택이 발동하는 전제는 과제를 신뢰성 있게 사전에 중간 목표로 분해할 수 있는지다. 측정 가능한 판단 기준은 같은 과제 묶음을 세 지도 단계에서 각각 한 번씩 실행하고 주 정리 완전 통과 수의 차이를 기록하는 것이다. 착상 제공 단계가 힌트 없는 단계보다 뚜렷이 높다면 해당 모델이 당신의 시나리오에서 자율성에 한계가 있음을 뜻하며, 예산을 수동 분해나 추가 라운드에 배정해야 한다. 둘째, 검수를 '다른 모델이 한 번 읽게 하는 것'에서 '산출물과 독립 검사기'로 바꿔라. 보도에서 전용 가능한 메커니즘은 연구 인증서다. 정리는 Lean 4 커널에 넘겨 검사하고 의존성을 감사하며, 알고리즘은 재실행 가능한 프로그램을 제출해 검사기가 합법성을 다시 판정하고 목표값을 다시 계산하며, 중간 목표는 임시 가정 아래 개별 검사하고, 주 정리는 미증명 가정을 제거한 뒤 다시 확인해야 한다. 선택할 것은 출력이 기계적으로 검증 가능한 과제에서 모델이 결과물과 함께 검사 스크립트를 제출하도록 요구하고, 당신의 파이프라인이 재실행해 통과한 경우에만 성공으로 집계하는 것이다. 보도는 IWLS 2023 논리 합성 과제를 예로 관찰 가능한 숫자 하나를 제시했는데, 이는 해당 과제의 예시이지 Solver 트랙 전체의 결론이 아니다. GPT-6 Astra는 이 100개 인스턴스 모두에서 유효 회로를 생성했고, 그중 22개는 공개 참조 회로보다 우수했고 31개는 참조 수준에 도달했으며 나머지 47개는 더 많은 AND 게이트를 사용했다. 이는 '유효'와 '더 우수'를 분리해 집계해야 함을 보여준다. 측정 가능한 판단 기준은 유효율과 참조보다 우수한 비율을 두 열로 나눠 기록하는 것이다. 그렇지 않고 실행 가능 여부만 집계하면 최적화 품질 하락이 보고서에 나타나지 않는다. 셋째, '거의 완료'를 별도로 집계하라. 보도에서 전형적인 상황은 Kimi K3가 어느 시도에서 중간 Checkpoint 7개를 완료해 커버리지 87.5%에 이르렀지만 주 정리에 필요한 최종 추론은 완료하지 못했고, 시스템은 국소 성적을 보존하되 완전한 증명으로 인정하지 않은 것이다. 선택할 것은 '부분 완료'와 '납품 통과'를 두 필드로 나누고 하나의 총점으로 합치지 않는 것이다. 그렇지 않으면 장기 과제에서의 능력 변화가 평균에 묻힌다. 전제는 과제를 독립 검사 가능한 중간 목표로 분해할 수 있는지이며, 측정 가능한 판단 기준은 주 정리 통과율과 평균 Checkpoint 커버리지를 동시에 기록하고 두 추세가 어긋날 때 주 정리 통과율을 우선하는 것이다.
제한과 확인할 사항
보존해야 할 불확실성이 몇 가지 있다. 이는 연구진이 자체 구축한 평가로, 보도에 따르면 개발 과정에서 40개 넘는 후보 정리가 시운영 단계에서 이미 해결되어 문제 은행에서 빠졌으며, 이는 난이도 표준화가 여전히 조정 중임을 보여준다. 630개 변 결과는 보도에 따르면 프로그램 검증을 거친 구성이지만, 이 글은 독립 재현하지 않았고 제3자 재검토도 보지 못했다. 8차원에서 9차원은 오원 유한체 위의 특수한 경우이며, 완전한 Alon–Jaeger–Tarsi 추측은 여전히 미해결이고 보도도 나머지 공개 추측 28개가 완전한 해를 얻지 못했다고 했으므로 단일 기록을 일반적 연구 능력으로 읽어서는 안 된다. 세 지도 단계에서의 정리 완료 수는 정리 증명 트랙의 일부만 포괄하며 전체 순위로 삼을 수도 없다. 보도는 Kimi K3나 DeepSeek V4.1 Flash 0910의 가중치, 라이선스, 과금 방식을 언급하지 않았고, 어떤 모델의 출시나 가중치 공개 일정도 제시하지 않았다. 현재 KimiSeek 카탈로그 기준으로 Kimi K3는 같은 이름의 항목이 있지만, 이는 카탈로그의 현재 상태일 뿐이며 보도 속 실험의 재현 조건, 인터페이스 형태, 어떤 출시 계획도 추론하는 데 쓸 수 없다. 보도에 나온 DeepSeek V4.1 Flash 0910이라는 버전명은 현재 카탈로그에 정확히 대응하는 항목이 없으며, 이 버전은 현재 KimiSeek에 등재되어 있지 않고, 보도도 API 제공 여부를 밝히지 않았으므로 관련 연동과 비용 정보는 벤더의 설명과 가격 페이지를 기준으로 해야 한다.
원문 보도의 이미지



















