Bericht: MedGPT von Future Doctor gewinnt 88 zu 12 gegen 250 Ärzte aus Top-Kliniken – Ablation sieht Unterschied im Workflow
Laut einem Bericht von Xinzhiyuan vom 12. November 2026 habe eine multizentrische Studie mit 40 schwierigen Lungenkrebsfällen ergeben, dass MedGPT von Future Doctor in einem fallbezogenen Vergleich mit 88 zu 12 gegen 250 Ärzte aus chinesischen Top-Kliniken gewonnen habe; Ärzte ohne Unterstützung hätten im Schnitt 53,26 Punkte erreicht, MedGPT 85,29. Die im Bericht genannte Ablation behauptet, das Entfernen des Workflows koste fast 24 Punkte; der Bericht sagt nichts darüber, ob Gewichte oder eine API offen sind.
Was sich geändert hat
Laut einem Bericht von Xinzhiyuan vom 12. November 2026 hat Future Doctor gemeinsam mit der Thoraxchirurgie chinesischer Top-Kliniken eine multizentrische Studie durchgeführt. Aus 100 komplexen Lungenkrebsfällen wurden 40 schwierige Fälle ausgewählt, bei denen die Leitlinienempfehlung unklar war, und als Prüfungsaufgabe verwendet. 20 Experten legten vor der Sichtung der Antworten für jeden Fall sechs Bewertungsregeln fest, insgesamt 240, davon 40 als Sicherheitsgrenzen. Am Vergleich nahmen 250 Ärzte aus 98 medizinischen Einrichtungen teil, über 60 Prozent davon Chef- oder stellvertretende Chefärzte. Der Bericht nennt für die Ärztegruppe ohne Unterstützung einen Durchschnitt von 53,26 Punkten und für MedGPT von Future Doctor 85,29 Punkte. In einem fallbezogenen Eins-zu-eins-Vergleich mit 750 Antworten von Ärzten ohne Unterstützung sei MedGPT in 660 Fällen höher bewertet worden, das berichtete Ergebnis laute 88 zu 12, und die Antworten seien im Schnitt über 40 Prozent kürzer als die der Ärzte. Der Bericht nennt zudem einen Modellvergleich nach einem anderen Bewertungsschema: MedGPT erreiche insgesamt 96,22, die im Bericht genannten GPT-5.4, Claude Opus 4.7 und Gemini 3.1 Pro 71,38, 61,81 und 54,62. Derselbe Bericht besagt, eine Ablation, die den gesamten Workflow entfernt und das zugrunde liegende Modell direkt antworten lässt, koste fast 24 Punkte; allein das Entfernen des Moduls für die multidisziplinäre Konsultation koste 16 Punkte. Bei der Mensch-Maschine-Zusammenarbeit erhalte der Arzt ohne Unterstützung 53,40 Punkte, mit reinen Recherchehinweisen 61,05 und nach Prüfung eines vollständigen Strategieberichts 66,27.
Auswirkungen für Entwickler
Der für Entwickler relevante Teil dieses Systems liegt nicht in einem bestimmten Modell, sondern im Workflow. Der Bericht beschreibt drei Stufen: Bei der Aufnahme werden Literaturstellen in Evidenzeinheiten zerlegt, die jeweils nur eine Aussage enthalten, von einem Programm aus dem Originaltext extrahiert werden und vom Modell nur zitiert, nicht selbst formuliert werden dürfen. Patientendaten werden in einer Statusliste geführt, die mit den Untersuchungsergebnissen aktualisiert wird, wobei Aktualisierungen ärztlich unterschrieben werden müssen. Bis zu sechs Fachagenten geben getrennt ihre Einschätzung ab, abweichende Meinungen bleiben unverändert erhalten; daraus entstehen ein Standardpfad, ein Frontier-Pfad und Prüfaufgaben, die über virtuelle Patientendurchläufe und eine adversarial geführte Prüfung in fünf Dimensionen – Sicherheit, Tail-Risiken, Evidenz und Dosierung, zeitliche Ausführung, Grenznutzen – laufen; Ergebnisse dürfen nur behalten, repariert oder verworfen werden, und meist sind zwei bis drei Runden nötig. Für Teams, die Agenten für ein Fachgebiet bauen, sind das übertragbare Designvorgaben, keine direkt aufrufbaren Modellfähigkeiten. Klarzustellen ist: Der Bericht behandelt das geschlossene System MedGPT von Future Doctor; er erwähnt weder offene Gewichte noch eine Entwickler-API oder Lizenzinformationen. Für API-Nutzer ändert diese Nachricht daher die Bewertungsmethode und Architekturentscheidungen, nicht die unmittelbar verfügbaren Anschlussoptionen. Ein weiterer leicht übersehener Punkt: Derselbe Bericht nennt sowohl einen Systemwert von 96,22 gegen 71,38 – mit Retrieval und Multi-Agenten-Prüfung – als auch den Verlust von rund 24 Punkten beim Entfernen des Workflows. Beide Zahlen zusammen legen eine bedingte Einschätzung nahe: Der Modellvergleich ähnelt eher einem Vergleich des vollständigen Workflows mit nackten Modellen und taugt nicht als Rangfolge der Modellfähigkeiten unter demselben Gerüst.
Integration und Bewertung
Die folgenden Hinweise sind eine bedingte Analyse, keine Fakten aus dem Bericht. Erstens: zuerst den Workflow messen, dann das zugrunde liegende Modell wechseln. Die berichteten Änderungen sind die Zahlen der Ablation: Entfernt man den gesamten Workflow und lässt nur das Basismodell direkt antworten, sinkt das Ergebnis um fast 24 Punkte; entfernt man nur das Modul für die multidisziplinäre Konsultation, um 16 Punkte. Die Entscheidung ist, Evidenz-Retrieval, Multi-Agenten-Konsultation und adversarial geführte Prüfung als einzeln abschaltbare Schalter zu bauen, bevor über einen Modellwechsel gesprochen wird. Dieser Hinweis gilt nur, wenn stabile, vorab festgeschriebene Bewertungsregeln vorliegen; ändert sich das Schema noch, lassen sich die gemessenen Differenzen nicht sauber Modulen oder dem Bewertungsmaßstab zuordnen. Ein messbares Kriterium ist die Punktedifferenz beim Ein- und Ausschalten einzelner Module unter demselben Regelsatz, wobei auch die Antwortlänge zu erfassen ist, denn laut Bericht sind die Systemantworten über 40 Prozent kürzer als die der Ärzte; plötzliche Längenänderungen deuten oft darauf hin, dass Punkte durch mehr Text erkauft werden. Zweitens: die Abwägung zwischen strukturierter Evidenzdatenbank und gewöhnlichem Retrieval-Augmented Generation. Laut Bericht werden Evidenzen bei der Aufnahme in Einheiten mit nur einer Aussage zerlegt, nur von einem Programm aus dem Originaltext übernommen und vom Modell lediglich zitiert; allein für Lungenkrebs seien über 13.000 Literaturstellen in mehr als 200.000 strukturierte Evidenzeinheiten zerlegt worden. Zu entscheiden ist, ob zuerst Personal in eine solche Evidenzschicht investiert wird oder zunächst gewöhnliches Retrieval-Augmented Generation genügt. Voraussetzung sind hohe Kosten von Halluzinationen, prüfbare Texte wie Leitlinien und Packungsbeilagen im Fachgebiet sowie Personen, die die Extraktionsqualität prüfen können; bei unordentlichem Korpus und sehr offenen Fragen ist Retrieval zuerst realistischer. Messbare Kriterien sind die Präzision der Zitate – ob die extrahierten Zitate die Aussage tatsächlich stützen – und der Anteil nicht rückverfolgbarer Zahlen in der Ausgabe. Drittens: System gegen System und Modell gegen Modell getrennt bewerten. Die berichteten Änderungen sind zwei Zahlensätze: Im Modellvergleich erreicht MedGPT 96,22 gegenüber den im Bericht genannten 71,38 für GPT-5.4, 61,81 für Claude Opus 4.7 und 54,62 für Gemini 3.1 Pro; bei der Mensch-Maschine-Zusammenarbeit stehen 53,40, 61,05 und 66,27. Zu entscheiden ist, auf dem eigenen Anwendungsfall mindestens zwei Baselines laufen zu lassen – das vollständige System und das Basismodell ohne Gerüst –, statt ein fremdes System mit Retrieval und Prüfung direkt gegen das eigene nackte Modell zu stellen. Voraussetzung ist, dass der fremde Workflow nachgebaut werden kann; ist das nicht möglich, dient eine eigene Variante mit abschaltbaren Komponenten als Vergleich. Messbar ist, ob die Rangfolge unter geändertem Schema stabil bleibt; kippt sie, ist das Ergebnis empfindlich gegenüber dem Gerüst und taugt nicht direkt zur Auswahl. Viertens: die Form der Mensch-in-der-Schleife klar wählen. Laut Bericht erreichen Ärzte mit reinen Recherchehinweisen 61,05 Punkte und nach Prüfung eines vollständigen Strategieberichts 66,27; Aktualisierungen der Patientenstatusliste gelten zudem erst mit ärztlicher Unterschrift. Die Entscheidung ist, ob das Produkt nur Rechercheausschnitte zeigt oder einen vollständigen, zu prüfenden Strategiebericht mit Unterschriftsbestätigung ausgibt. Das hängt davon ab, ob der Workflow bereits einen zurechenbaren Bestätigungsschritt hat und ob die Berichtslänge das Zeitbudget der Prüfenden sprengt. Messbar sind der Punkteunterschied zwischen den beiden Armen reine Recherche und vollständiger Bericht bei denselben Fällen sowie der tatsächliche Anteil ärztlicher Änderungen am Plan.
Grenzen und offene Fragen
Die Bewertungsregeln im Bericht wurden von den Experten auf Bitte des Forschungsteams vorab festgelegt; es gab nur 40 Fälle, alle aus dem Bereich Lungenkrebs, und der Bericht erwähnt keine unabhängige Nachprüfung durch Dritte. Die Zahlen sind daher als selbst berichtete Ergebnisse nach dem Maßstab der Forschenden zu betrachten; die zitierten Einschätzungen von Fachleuten aus der Praxis stammen ebenfalls aus dem Bericht und sind unterstützende Meinungen. Die im Bericht genannten Modellversionsnamen und Punktzahlen lassen sich außerhalb dieser Quelle nicht überprüfen. Die drei Zahlensätze zu Mensch-Maschine-Vergleich, Modellvergleich und Mensch-Maschine-Zusammenarbeit beruhen auf unterschiedlichen Maßstäben; der Bericht unterscheidet sie selbst, sie lassen sich nicht ineinander umrechnen oder direkt ordnen. Besonders wichtig: MedGPT von Future Doctor hat derzeit keinen entsprechenden Eintrag bei KimiSeek und sollte nicht als dort bereits verfügbares Modell behandelt werden; der Bericht sagt auch nichts darüber, ob die Gewichte offen sind, ob eine Entwickler-API angeboten wird oder welche Lizenz gilt. Alle Angaben zu Anbindung und Verfügbarkeit sollten sich an der Darstellung des Herstellers orientieren.