← Toutes les actualités

Nous affirme qu’un fine-tuning de 53 millions de tokens suffit à retirer le biais politique de Qwen3.8-27B ; Arete-27B à poids ouverts

Selon The Decoder du 7 novembre 2026, Nous Research a réalisé un fine-tuning supervisé d’environ 53 millions de tokens sur Qwen3.8-27B d’Alibaba, donnant le modèle à poids ouverts Arete-27B : sur un test maison de 803 prompts, la part de réponses à contenu propagandiste passe de 22 % à 0,9 % et l’exactitude factuelle de 2,32 à 2,98, les capacités générales étant décrites comme globalement inchangées.

Publication Mise à jour
Image de couverture de l’article original — Nous affirme qu’un fine-tuning de 53 millions de tokens suffit à retirer le biais politique de Qwen3.8-27B ; Arete-27B à poids ouverts
Image de couverture de l’article originalArticle original ↗

Ce qui change

Le sujet n’est pas la sortie d’une nouvelle base, mais une expérience de post-entraînement ciblant un comportement d’alignement. D’après l’article de The Decoder du 7 novembre 2026 et les explications de Nous Research, Qwen3.8-27B d’Alibaba, sur des sujets sensibles, refuse de répondre, esquive et produit des formulations alignées sur la position officielle ; Nous a entraîné Arete-27B par fine-tuning supervisé d’environ 53 millions de tokens sur deux epochs, sans apprentissage par renforcement ni optimisation de préférences, et affirme avoir supprimé au préalable les recouvrements entre prompts d’entraînement et prompts de test. L’évaluation est maison : 803 prompts répartis en sept catégories (liberté d’expression, idéologie d’État, éducation, vie privée et surveillance, démocratie, environnement, etc.), chacun associé à 2 à 4 faits issus de sources datées (lois, articles de presse ou travaux de recherche), avec Grok 4.7 de xAI comme juge chargé de dire si la réponse mentionne, omet ou contredit ces faits ; le juge doit citer les formulations exactes et ignore de quel modèle vient la réponse. Selon le compte rendu, Qwen3.8-27B non modifié obtient 2,32 sur 5 en exactitude factuelle et 22 % de réponses contenant de la propagande ; Arete-27B atteint 2,98 et 0,9 %. La baisse la plus forte concerne la catégorie liberté d’expression, où le score factuel passe de 0,89 à 2,44 et le taux de propagande de 60 % à 1 %. Dans la même comparaison, le compte rendu cite GLM-5.3 à 15 %, DeepSeek V4.1 Flash à 16 %, et des modèles occidentaux comme Mistral Large 4 et Gemma 4 31B sous 1 % ; il cite aussi une étude de ValsAI selon laquelle les modèles chinois ne se comportent pas de façon uniforme. Sur les capacités générales, Nous rapporte un score interne Hermes Bench de 65,60 % contre 65,77 % pour la base ; Terminal-Bench 2.1 passe de 67 % à 70 %, mais Nous reconnaît lui-même que les conditions de test diffèrent et qu’il ne s’agit pas d’une vraie amélioration. La conclusion de Nous est que la couche de biais des modèles alignés sur la position chinoise est « superficielle » : appliquée tard et finement, elle peut être retirée par environ cinquante millions de tokens de supervision sélectionnée sans perturber les couches sous-jacentes. Le compte rendu indique que les poids, le jeu de test et les données d’entraînement d’Arete-27B sont publiés sous licence Apache 2.0 sur Hugging Face, et que Nous soupçonne que les anomalies de Nemotron 3 Ultra de Nvidia sur les sujets liés à la Chine proviennent d’une contamination par des données d’entraînement générées avec des modèles chinois à poids ouverts, son propre projet ayant connu des cas similaires.

Conséquences pour les développeurs

Analyse et jugement fondés sur le compte rendu ci-dessus, et non des conclusions reproduites par nous. Ce que cette nouvelle change d’abord, c’est l’attente de transférabilité de la « couche d’alignement ». Si la méthode et les chiffres de Nous tiennent, réorienter les réponses sur des sujets sensibles dans un modèle chinois à poids ouverts pourrait coûter de l’ordre de dizaines de millions de tokens de données supervisées plus un SFT classique, sans refaire le pré-entraînement ni recourir à l’apprentissage par renforcement. Cela influe directement sur votre volonté d’utiliser ces poids dans des usages exigeant une ligne éditoriale maîtrisée : aide à la modération multirégionale, recherche augmentée sur des sujets politiques, synthèse d’opinion publique. À l’inverse, le compte rendu note que le biais peut se transmettre entre modèles élèves via des données synthétiques : Nous dit avoir observé des anomalies sur Nemotron 3 Ultra, soupçonner des modèles chinois à poids ouverts dans les données d’entraînement, et avoir rencontré une contamination similaire dans son propre projet. Choisir un modèle enseignant pour produire des données, c’est donc déjà faire un choix de ligne éditoriale, et cette étape intervient généralement plus tôt que le choix du modèle de déploiement. Deuxième point : la méthode d’évaluation devient elle-même une variable d’intégration. Le rapport ne s’appuie que sur un seul modèle juge, Grok 4.7, et le jeu de test est construit par la partie évaluée ; la définition de la « propagande » (reprendre le récit officiel, le cautionner ou le traiter comme un point de vue également valable) est elle-même porteuse de position, et le compte rendu mentionne que le modèle juge est perçu comme plutôt à droite et que la langue et le format des réponses influencent nettement les résultats. Les proportions rapportées sont donc mieux considérées comme un signal de tendance que comme des scores à inscrire tels quels dans un document de sélection. Pour un usage en revue interne, il est conseillé de consigner aussi l’identité du juge et l’uniformité de la langue et du format des prompts, faute de quoi les résultats de lots différents ne seront pas comparables.

Intégration et évaluation

Trois recommandations conditionnelles, qui ne sont pas des faits du compte rendu. Un : adopter directement les poids d’Arete-27B ou réentraîner une version selon votre propre ligne éditoriale. Le changement rapporté : un fine-tuning supervisé d’environ cinquante millions de tokens suffit à faire passer une catégorie de réponses de 22 % à moins de 1 %, sans dégradation notable des capacités générales selon Nous. Le choix dépend de ce que vous voulez : de la « neutralité » ou une autre position assumée — selon le compte rendu, Arete-27B revendique des valeurs occidentales, tandis qu’Hermes 3 de Nous, en 2024, suivait une voie neutre configurable par prompt système. Si votre activité exige de ne pas prendre position (service client transfrontalier, recherche académique), remplacer les poids par une version à position affirmée ne fait que changer le sens du biais et impose encore des contraintes au niveau du prompt. Critère d’acceptation mesurable : avec 100 à 200 prompts sensibles propres à votre activité, chacun associé à 2 à 4 faits de référence sourcés, faire évaluer par un juge fixe le taux de contradiction avec les faits, le taux de refus et le taux d’esquive, pour la base et pour les poids candidats, plutôt que de regarder le score global. Deux : établir des références par catégorie ou se contenter du score global. Le changement rapporté : les taux de propagande des modèles chinois à poids ouverts diffèrent nettement (Qwen3.8-27B 22 %, GLM-5.3 15 %, DeepSeek V4.1 Flash 16 %), et la baisse la plus marquée sur Arete-27B concerne la liberté d’expression. Le choix dépend de la probabilité que votre produit aborde réellement ces sujets : rarement pour une base de connaissances interne, plus souvent pour une recherche augmentée ou une génération de contenu sur des thèmes publics. Critère mesurable : au moins 20 prompts par catégorie réellement couverte, en enregistrant séparément taux de refus, taux d’esquive et taux de contradiction avec les faits de référence, puis en classant par catégorie et non par score global ; il est conseillé de ramener sous 5 % le taux de contradiction sur les catégories réellement déclenchées avant de passer à l’étape suivante de sélection. Trois : ajouter ou non un contrôle par sujet sur la chaîne de données synthétiques. Le changement rapporté : la contamination peut venir des données d’entraînement, pas du modèle déployé. Condition de déclenchement : vous utilisez un modèle à poids ouverts pour générer des données SFT ou des données d’évaluation. Critère mesurable : prélever 50 à 100 éléments par catégorie (les sept) dans les données d’instructions générées, mesurer avec le même protocole de juge qu’en production le taux de contradiction avec les faits de référence, et inscrire ce contrôle à chaque changement de modèle enseignant.

Limites et points à confirmer

Les proportions et scores du rapport proviennent des tests maison et des résultats auto-déclarés de Nous Research ; The Decoder les relaie et nous ne les avons pas reproduits indépendamment. Le juge est un modèle unique, Grok 4.7, et le jeu de test est construit par la partie évaluée ; les 803 prompts couvrent sept catégories, ce qui reste limité ; le compte rendu mentionne lui-même l’orientation politique du modèle juge et l’influence nette de la langue et du format des réponses. La base de l’affirmation « capacités générales intactes » est le Hermes Bench interne de Nous (65,60 % contre 65,77 %) et Terminal-Bench 2.1 (67 % à 70 %, Nous admettant des conditions de test différentes) ; le score de 3,07 avec le mode raisonnement activé ne repose que sur deux exécutions sur cinq. La longueur médiane des données d’entraînement est d’environ 866 tokens, la plupart des échantillons faisant moins de 1 000 tokens, ce qui s’éloigne de la distribution des vraies requêtes à long contexte. L’hypothèse de contamination (anomalies de Nemotron 3 Ultra dues à des données synthétiques) et l’élimination des recouvrements entre prompts d’entraînement et de test sont des déclarations de Nous, sans vérification tierce. Arete-27B n’apparaît pas pour l’instant dans le catalogue de modèles de KimiSeek ; le canal de publication rapporté est la mise à disposition par Nous Research des poids et des données sur Hugging Face, leur disponibilité, leurs termes de licence et leurs mises à jour relevant de l’éditeur et ne signifiant pas qu’ils sont appelables via ce site. La base Qwen3.8 27B a une entrée correspondante dans notre catalogue, mais les deux sont des produits distincts et non interchangeables. Le compte rendu indique que les poids, le jeu de test et les données d’entraînement sont publiés sous licence Apache 2.0 ; il s’agit d’une déclaration de licence, et la simple possibilité de télécharger les poids ne définit pas l’étendue des droits : vérifiez le texte de licence dans le dépôt de l’éditeur avant tout usage réel.

Illustrations de l’article original

Illustration de l’article original 1 — Nous affirme qu’un fine-tuning de 53 millions de tokens suffit à retirer le biais politique de Qwen3.8-27B ; Arete-27B à poids ouverts
Illustration de l’article original 1Article original ↗
Illustration de l’article original 2 — Nous affirme qu’un fine-tuning de 53 millions de tokens suffit à retirer le biais politique de Qwen3.8-27B ; Arete-27B à poids ouverts
Illustration de l’article original 2Article original ↗

Trois minutes jusqu’au premier appel

Créez un compte et une clé API. Le coût des appels est déduit de votre solde. 30 % de réduction sur la première recharge. Rechargez ¥500, payez ¥350, recevez ¥500 de crédit. Rechargez ¥1000, payez ¥850, recevez ¥1000 de crédit Vous pouvez toujours commencer par une recharge d’essai de ¥10.

Sources et méthode éditoriale

研究:部分中国 AI 模型的国家宣传只是一层“薄壳”,微调即可剥离

L’IA a assisté l’analyse et la traduction des sources citées, suivies de contrôles automatiques. Les conseils ne sont pas des résultats de tests. Consultez le catalogue actuel pour les prix et la disponibilité.