Nous: 53 Millionen Token SFT genügen, um die politische Ausrichtung von Qwen3.8-27B zu entfernen – Arete-27B mit offenen Gewichten
Laut The Decoder vom 7. November 2026 hat Nous Research Alibabas Qwen3.8-27B mit rund 53 Millionen Token überwacht feinabgestimmt und daraus das Modell mit offenen Gewichten Arete-27B erzeugt: In einem selbst erstellten Test mit 803 Prompts sank der Anteil propagandistischer Antworten von 22 % auf 0,9 %, die faktische Genauigkeit stieg von 2,32 auf 2,98; die allgemeinen Fähigkeiten seien im Wesentlichen unverändert.

Was sich geändert hat
Im Kern geht es in dem Bericht nicht um ein neues Basismodell, sondern um ein Post-Training-Experiment zum Ausrichtungsverhalten. Laut dem Artikel von The Decoder vom 7. November 2026 und den Erläuterungen von Nous Research zeigt Alibabas Qwen3.8-27B bei sensiblen Themen Verweigerungen, Ausweichen und Formulierungen, die mit der offiziellen Linie übereinstimmen; Nous trainierte mit rund 53 Millionen Token über zwei Epochen per überwachter Feinabstimmung Arete-27B, ohne Reinforcement Learning oder Präferenzoptimierung, und gibt an, Überschneidungen zwischen Trainings- und Test-Prompts vorab entfernt zu haben. Die Evaluierung stammt von Nous selbst: 803 Prompts verteilen sich auf sieben Kategorien – Meinungsfreiheit, Staatsideologie, Bildung, Privatsphäre, Überwachung, Demokratie und Umwelt –, jedem Prompt liegen 2 bis 4 Fakten aus datierten Quellen (Gesetze, Nachrichtenberichte oder Forschungsarbeiten) bei. Als Richter fungiert Grok 4.7 von xAI, der beurteilt, ob eine Antwort die Fakten erwähnt, auslässt oder ihnen widerspricht; der Richter muss konkrete Formulierungen zitieren und weiß nicht, von welchem Modell die Antwort stammt. Dem Bericht zufolge erreicht das unveränderte Qwen3.8-27B eine faktische Genauigkeit von 2,32 (von 5) und 22 % Antworten mit propagandistischen Inhalten; Arete-27B kommt auf 2,98 bzw. 0,9 %. Den stärksten Rückgang gibt es in der Kategorie Meinungsfreiheit: Der Faktenwert steigt von 0,89 auf 2,44, die Propagandrate sinkt von 60 % auf 1 %. Im selben Vergleich nennt der Bericht 15 % für GLM-5.3 und 16 % für DeepSeek V4.1 Flash, während westliche Modelle wie Mistral Large 4 und Gemma 4 31B unter 1 % liegen; zudem wird eine Studie von ValsAI zitiert, wonach sich verschiedene chinesische Modelle uneinheitlich verhalten. Zu den allgemeinen Fähigkeiten nennt Nous einen internen Hermes-Bench-Wert von 65,60 % gegenüber 65,77 % für das Basismodell; bei Terminal-Bench 2.1 stieg der Wert von 67 % auf 70 %, doch Nous selbst erklärt, die Testeinstellungen seien unterschiedlich und dies sei keine echte Verbesserung. Nous kommt zu dem Schluss, die Ausrichtungsschicht in Modellen mit chinesischer Positionierung sei „sehr dünn“: spät und oberflächlich aufgebracht, lasse sie sich mit rund 50 Millionen kuratierten Token überwacht entfernen, ohne die darunterliegende Ebene zu stören. Laut Bericht sind die Gewichte, der Testdatensatz und die Trainingsdaten von Arete-27B unter der Apache-2.0-Lizenz auf Hugging Face öffentlich; zudem vermutet Nous, dass auffällige Anzeichen bei Nvidias Nemotron 3 Ultra zu China-bezogenen Themen aus einer Kontamination durch Trainingsdaten stammen, die mit chinesischen Modellen mit offenen Gewichten erzeugt wurden, und dass dies auch im eigenen Projekt vorkam.
Auswirkungen für Entwickler
Das Folgende sind Analysen und Einschätzungen auf Grundlage des Berichts, keine Reproduktion durch uns. Was sich zuerst ändert, ist die Erwartung an die Übertragbarkeit der „Ausrichtungsschicht“. Wenn Nous' Methode und Zahlen Bestand haben, könnte der Aufwand, die Antwortneigung zu sensiblen Themen bei chinesischen Modellen mit offenen Gewichten neu zu setzen, in der Größenordnung von Trainingsdaten im zweistelligen Millionenbereich Token plus einer regulären SFT liegen, ohne Pretraining von Grund auf oder Reinforcement Learning. Das betrifft direkt die Frage, ob man solche Gewichte in Szenarien einsetzt, die Anforderungen an die Formulierung stellen – etwa mehrregionale Unterstützung bei der Inhaltsmoderation, politische Retrieval-Augmented-Generation oder Stimmungszusammenfassungen. Der Bericht weist aber auch darauf hin, dass sich die Ausrichtung über synthetische Daten zwischen Lehrer- und Schüler-Modellen übertragen kann: Nous will bei Nemotron 3 Ultra Auffälligkeiten gesehen und als Quelle chinesische Modelle mit offenen Gewichten in den Trainingsdaten vermutet haben, und auch im eigenen Projekt sei eine ähnliche Kontamination aufgetreten. Wer ein Lehrer-Modell für die Datenerzeugung wählt, trifft damit bereits eine Entscheidung über die Ausrichtung – und dieser Schritt erfolgt meist früher als die Wahl des Deployment-Modells. Zweitens wird die Evaluierungsmethodik selbst zur Integrationsvariable. Der Bericht stützt sich auf ein einziges Richtermodel, Grok 4.7, der Testdatensatz stammt vom Bewerteten selbst, und die Definition von „Propaganda“ (offizielle Narrative übernehmen, sie stützen oder als gleichwertige Sichtweise behandeln) ist selbst positionsgebunden; der Bericht erwähnt zudem, dass das Richtermodel als politisch rechtsgerichtet gilt und Sprache sowie Antwortformat die Ergebnisse deutlich beeinflussen. Die genannten Quoten taugen daher eher als richtungsweisendes Signal denn als Punktzahl für ein Auswahldokument. Für interne Reviews empfiehlt es sich, festzuhalten, welches Richtermodel verwendet wurde und ob Sprache und Format der Prompts einheitlich waren, sonst sind Ergebnisse verschiedener Durchläufe nicht vergleichbar.
Integration und Bewertung
Die folgenden drei Hinweise sind bedingte Empfehlungen, keine Fakten aus dem Bericht. Erstens: Arete-27B-Gewichte direkt übernehmen oder mit eigener Ausrichtung neu trainieren. Die berichtete Änderung: Rund 50 Millionen Token überwachte Feinabstimmung können eine bestimmte Antwortneigung von 22 % unter 1 % drücken, ohne die allgemeinen Fähigkeiten laut Bericht erkennbar zu beeinträchtigen. Die Wahl hängt davon ab, ob man „neutral“ will oder „eine andere klare Position“ – laut Bericht steht Arete-27B für westliche Werte, während Nous' Hermes 3 von 2024 einen neutralen, per System-Prompt einstellbaren Kurs verfolgte. Wenn das Geschäft keine eigene Positionierung verlangt (grenzüberschreitender Kundenservice, wissenschaftliche Recherche), tauscht man mit positionsgebundenen Gewichten nur die Richtung der Ausrichtung und braucht weiterhin Einschränkungen auf Prompt-Ebene. Messbares Abnahmekriterium: 100 bis 200 unternehmensinterne Prompts zu sensiblen Grenzfällen, jeweils mit 2 bis 4 belegten Referenzfakten, und mit festem Richter für Basismodell und Kandidat getrennt die Rate der den Referenzfakten widersprechenden Antworten, die Verweigerungsrate und die Ausweichrate messen, statt nur den Gesamtwert zu betrachten. Zweitens: Baselines je Kategorie aufbauen oder nur Gesamtwerte vergleichen. Die berichtete Änderung: Die Propagandraten chinesischer Modelle mit offenen Gewichten unterscheiden sich deutlich (Qwen3.8-27B 22 %, GLM-5.3 15 %, DeepSeek V4.1 Flash 16 %), und bei Arete-27B war der stärkste Rückgang in der Kategorie Meinungsfreiheit. Die Wahl hängt davon ab, ob das Produkt diese Themen tatsächlich berührt: interne Wissensdatenbanken meist nicht, öffentlichkeitsbezogene RAG- oder Generierungsanwendungen schon. Messbares Kriterium: mindestens 20 Prompts je tatsächlich abgedeckter Kategorie, getrennt Verweigerungsrate, Ausweichrate und Widerspruchsrate zu Referenzfakten erfassen und nach Kategorie statt nach Gesamtwert sortieren; empfohlen wird, die Widerspruchsrate in tatsächlich ausgelösten Kategorien unter 5 % zu drücken, bevor die nächste Auswahlstufe beginnt. Drittens: eine themenbezogene Stichprobe in die Synthesedaten-Pipeline einbauen. Die berichtete Änderung: Kontamination kann aus den Trainingsdaten statt aus dem Deployment-Modell stammen. Auslöser ist, wenn mit Modellen mit offenen Gewichten SFT- oder Bewertungsdaten erzeugt werden. Messbares Kriterium: aus den erzeugten Instruktionsdaten je 50 bis 100 Einträge pro Kategorie ziehen, mit dem produktiven Richterverfahren die Widerspruchsrate zu Referenzfakten messen und diese Stichprobe bei jedem Wechsel des Lehrer-Modells fest einplanen.
Grenzen und offene Fragen
Alle Quoten und Werte im Bericht stammen aus selbst erstellten Tests und Selbstauskünften von Nous Research; The Decoder gibt sie weiter, wir haben sie nicht unabhängig reproduziert. Der Richter ist ein einzelnes Modell (Grok 4.7), der Testdatensatz stammt vom Bewerteten selbst, und die 803 Prompts in sieben Kategorien sind begrenzt; der Bericht erwähnt zudem die politische Ausrichtung des Richters sowie deutliche Effekte von Sprache und Antwortformat. Die Aussage „allgemeine Fähigkeiten unverändert“ stützt sich auf Nous' internen Hermes Bench (65,60 % gegenüber 65,77 %) und Terminal-Bench 2.1 (67 % auf 70 %, wobei Nous unterschiedliche Testeinstellungen einräumt); die 3,07 Punkte mit aktiviertem Reasoning-Modus beruhen nur auf zwei von fünf Läufen. Die Trainingsdaten haben eine mittlere Länge von rund 866 Token, die meisten Beispiele weniger als 1000 Token – deutlich entfernt von der Verteilung echter Anfragen mit langem Kontext. Die Kontaminationsvermutung (Auffälligkeiten bei Nemotron 3 Ultra stammen aus synthetischen Daten) und die Angabe, Überschneidungen zwischen Trainings- und Test-Prompts seien entfernt worden, sind Aussagen von Nous ohne Drittprüfung. Arete-27B erscheint derzeit nicht im Modellkatalog von KimiSeek; der im Bericht genannte Veröffentlichungskanal sind Gewichte und Daten von Nous Research auf Hugging Face. Verfügbarkeit, Lizenzbedingungen und spätere Updates liegen beim Herausgeber und bedeuten nicht, dass das Modell über diese Seite aufrufbar ist. Das Basismodell Qwen3.8 27B hat einen Eintrag in unserem Katalog, doch beide sind unterschiedliche Produkte und nicht gegeneinander austauschbar. Laut Bericht sind Gewichte, Testdatensatz und Trainingsdaten unter Apache 2.0 veröffentlicht; das ist eine Lizenzangabe, und herunterladbare Gewichte allein bedeuten keinen Lizenzumfang – vor der Nutzung sollte man den Lizenztext im Repository des Herausgebers prüfen.
Abbildungen aus dem Originalbericht

