Relato diz que MedGPT da Future Doctor venceu 250 médicos por 88 a 12; ablação aponta o fluxo como diferença
Segundo um relato do Xinzhiyuan de 12 de novembro de 2026, um estudo multicêntrico com 40 casos difíceis de câncer de pulmão afirma que o MedGPT da Future Doctor venceu 250 médicos de hospitais de nível 3A por 88 a 12 em placar por caso, com média de 53,26 para médicos sem auxílio contra 85,29 do MedGPT; o experimento de ablação citado no relato diz que remover o fluxo derruba quase 24 pontos, e o relato não informa se os pesos ou a API estão abertos.
O que mudou
Segundo um relato do Xinzhiyuan de 12 de novembro de 2026, a Future Doctor, junto com departamentos de cirurgia torácica de hospitais de nível 3A do país, realizou um estudo multicêntrico, selecionando de 100 casos complexos de câncer de pulmão 40 casos difíceis, com recomendação pouco clara nas diretrizes, para servir de prova. Vinte especialistas escreveram, antes de ver as respostas, 6 critérios de pontuação por caso, num total de 240 critérios, dos quais 40 eram linhas vermelhas de segurança. Na comparação participaram 250 médicos de nível 3A de 98 instituições, mais de 60% deles chefes ou vice-chefes de serviço. O relato afirma que, sem auxílio, a média do grupo de médicos foi 53,26 e o MedGPT da Future Doctor obteve 85,29; em comparações um a um por caso contra 750 planos de médicos sem auxílio, o MedGPT teve pontuação maior em 660 vezes, com o placar de 88 a 12 informado no relato, e suas respostas foram, em média, mais de 40% mais curtas que as dos médicos. O relato apresenta ainda uma avaliação comparativa de modelos sob outro critério de pontuação: MedGPT com 96,22 no agregado, e GPT-5.4, Claude Opus 4.7 e Gemini 3.1 Pro, listados no relato, com 71,38, 61,81 e 54,62 respectivamente. O mesmo relato diz que o experimento de ablação, ao remover todo o fluxo e deixar o modelo de base responder diretamente, cai quase 24 pontos, e ao remover apenas o módulo de consulta multidisciplinar cai 16 pontos; na dimensão de colaboração humano-máquina, o médico sem auxílio tem 53,40, com apenas referências de busca 61,05, e após revisar o relatório completo de estratégia 66,27.
Impacto para desenvolvedores
A parte deste sistema com valor de referência para desenvolvedores não está em um modelo específico, mas no fluxo. O fluxo descrito no relato tem três etapas: na ingestão, a literatura é decomposta em unidades de evidência que registram apenas uma conclusão cada, extraídas do texto original por programa, com o modelo podendo só citar e não criar; as informações do paciente são organizadas em uma tabela de estado atualizada conforme os resultados de exames, com cada atualização exigindo assinatura médica; depois, até seis agentes especializados emitem opiniões próprias e as divergências são preservadas como estão, gerando um caminho padrão, um caminho de fronteira e tarefas de verificação, que passam por simulação com pacientes virtuais e por revisão adversarial em cinco dimensões — segurança, risco de cauda, evidência e dose, execução temporal e valor marginal —, e os resultados só podem ser mantidos, corrigidos ou descartados, geralmente passando por duas ou três rodadas antes da liberação. Para equipes que constroem agentes de domínio vertical, essas são restrições de projeto transferíveis, e não capacidades de modelo prontas para chamar. É preciso deixar claro que o relato trata do MedGPT da Future Doctor, um sistema fechado; o relato não menciona abertura de pesos nem fornece informações de API ou licenciamento para desenvolvedores, de modo que, para usuários de API, esta notícia muda métodos de avaliação e escolhas de arquitetura, não opções de integração imediatamente substituíveis. Outro ponto fácil de passar despercebido: o mesmo relato apresenta tanto o resultado de 96,22 contra 71,38, que envolve recuperação e revisão por múltiplos agentes, quanto admite que remover o fluxo derruba cerca de 24 pontos; juntando os dois conjuntos de números, chega-se a uma conclusão condicional: essa comparação se aproxima mais de um confronto entre o fluxo completo e o modelo puro, e não deve ser tomada como um ranking de capacidade de modelos sob o mesmo arcabouço.
Integração e avaliação
As sugestões a seguir são análise condicional, não fatos do relato. Primeiro, quantifique o fluxo antes de mexer no modelo de base. A mudança apontada no relato está nos números da ablação: remover todo o fluxo e deixar só o modelo de base responder diretamente derruba quase 24 pontos; remover apenas o módulo de consulta multidisciplinar derruba 16 pontos. A escolha a fazer é transformar a camada de recuperação de evidências, a consulta multiprofissional e a revisão adversarial em interruptores que possam ser desligados um a um, antes de discutir troca de modelo. Esta sugestão só vale se você tiver critérios de pontuação estáveis e definidos de antemão; se o critério ainda está mudando, a diferença medida não distingue o que vem do módulo e o que vem do padrão de avaliação. O critério mensurável é a diferença de pontuação com cada módulo ligado e desligado sob o mesmo conjunto de regras, registrando também o comprimento das respostas, porque o relato diz que as respostas do sistema são mais de 40% mais curtas que as dos médicos — uma mudança brusca de comprimento costuma indicar que a pontuação foi obtida empilhando palavras. Segundo, a escolha entre uma base de evidências estruturada e a geração aumentada por recuperação (RAG) convencional. O relato diz que, na ingestão, a evidência é decomposta em uma unidade que registra apenas uma conclusão, copiada do texto original apenas por programa, com o modelo podendo só citar; só para câncer de pulmão, mais de treze mil artigos foram decompostos, gerando mais de duzentas mil unidades de evidência estruturada. Você precisa decidir se investe pessoas nessa camada de evidências primeiro ou se segura com RAG convencional. O pressuposto é que o custo da alucinação seja alto, que o domínio tenha textos verificáveis como diretrizes e bulas de medicamentos, e que haja pessoas capazes de validar a qualidade da extração; se o corpus é bagunçado e as perguntas são muito abertas, começar pela recuperação é mais realista. Os critérios mensuráveis são a precisão das citações, ou seja, se a citação extraída realmente sustenta aquela conclusão, e a proporção de números na saída que não podem ser rastreados até a fonte. Terceiro, avalie sistema contra sistema e modelo contra modelo separadamente. A mudança no relato é que ele traz dois conjuntos de números ao mesmo tempo: na comparação entre modelos, MedGPT com 96,22 contra os 71,38 do GPT-5.4, 61,81 do Claude Opus 4.7 e 54,62 do Gemini 3.1 Pro listados no relato; na dimensão de colaboração humano-máquina, 53,40, 61,05 e 66,27. A escolha é rodar, no seu conjunto de casos, pelo menos duas linhas de base — o sistema completo e o modelo de base sem o arcabouço — em vez de comparar o sistema de outra pessoa, com recuperação e revisão, diretamente com o seu modelo puro. O pressuposto é conseguir reproduzir o fluxo do outro; se não conseguir, use versões do seu próprio sistema com módulos ligados e desligados como controle. O critério mensurável é se o ranking se mantém estável quando o critério de avaliação muda; se ele virar, a conclusão é sensível ao arcabouço e não serve para escolher modelo diretamente. Quarto, defina claramente a forma do humano no circuito. O relato diz que, recebendo apenas referências de busca, os médicos tiram 61,05, e após revisar o relatório completo de estratégia chegam a 66,27, e que a atualização da tabela de estado do paciente só vale com assinatura médica. A escolha é se o produto expõe apenas trechos recuperados ou se entrega um relatório completo de estratégia para revisão, com um ponto de confirmação por assinatura. Isso depende de já existir no fluxo uma etapa de confirmação com responsabilidade atribuível, e de o comprimento do relatório caber no orçamento de tempo de quem revisa. Os critérios mensuráveis são a diferença de pontuação entre os dois braços, só recuperação e relatório completo, no mesmo lote de casos, e a proporção de alterações que os médicos efetivamente fazem no plano.
Limites e pontos a confirmar
Os critérios de pontuação do relato foram definidos previamente por especialistas convidados pela equipe de pesquisa; os casos são apenas 40 e se concentram em um único tipo de câncer, o de pulmão; o relato não menciona reprodução independente por terceiros, e esses números devem ser tratados como resultados autodeclarados sob o critério dos pesquisadores; as avaliações de especialistas de ponta citadas no relato também vêm do próprio relato e são opiniões de apoio. Os nomes de versões de modelos e as pontuações que aparecem no relato não podem ser verificados fora dessa fonte. As três séries de números — comparação humano-máquina, comparação entre modelos e colaboração humano-máquina — usam critérios diferentes, e o próprio relato faz essa distinção; elas não podem ser convertidas entre si nem ordenadas diretamente. O ponto mais importante a deixar claro: o MedGPT da Future Doctor não tem, no momento, entrada correspondente no KimiSeek, e não deve ser tratado como um modelo já disponibilizado nessa plataforma; o relato também não informa se os pesos são abertos, se há API para desenvolvedores ou qual licença se aplica, e qualquer informação sobre integração e disponibilidade deve seguir a versão do fabricante.