Nous、Qwen3.8-27Bを約5300万トークンの微調整で政治偏向から分離したと主張、Arete-27Bをオープンウェイトで公開
The Decoderの2026年11月7日の報道によると、Nous ResearchはAlibabaのQwen3.8-27Bを約5300万トークンの教師あり微調整で訓練し、オープンウェイトモデルArete-27Bを得た。自社構築の803件のプロンプトによるテストで、宣伝的な回答の割合は22%から0.9%に低下し、事実正確性は2.32から2.98に上昇した。汎用能力はほぼ変わらないという。

主な変更
報道の核心は新しいベースモデルの発表ではなく、アラインメント挙動に対するポストトレーニング実験である。The Decoderの2026年11月7日の記事とNous Researchの説明によると、AlibabaのQwen3.8-27Bは敏感な話題で拒否、回避、および公式見解に沿った表現を示す。Nousは約5300万トークン、2エポックの教師あり微調整でArete-27Bを訓練した。強化学習や選好最適化は使っておらず、訓練用プロンプトとテスト用プロンプトの重複は事前に除去したとしている。 評価はNous自身が構築した。803件のプロンプトは言論の自由、国家イデオロギー、教育、プライバシーと監視、民主主義、環境など7カテゴリに分かれ、各プロンプトには日付を明記した出典(法律、報道、研究論文)に基づく事実が2〜4件付く。xAIのGrok 4.7が裁判役を務め、回答が事実に言及したか、省略したか、矛盾したかを判定する。裁判役は具体的な表現を引用する必要があり、どのモデルの回答かは知らされない。報道によると、未改変のQwen3.8-27Bは事実正確性2.32(5点満点)で、22%の回答に宣伝的内容が含まれた。Arete-27Bはそれぞれ2.98と0.9%だった。低下幅が最大なのは言論の自由カテゴリで、事実スコアは0.89から2.44に、宣伝率は60%から1%になった。同じ比較で、報道はGLM-5.3が15%、DeepSeek V4.1 Flashが16%、Mistral Large 4やGemma 4 31Bなど西洋モデルは1%未満としている。報道はまた、ValsAIの研究を引用し、中国のモデル間でも成績にはばらつきがあると伝えている。 汎用能力について、Nousが示した内部Hermes Benchの成績は65.60%で、ベースモデルは65.77%だった。Terminal-Bench 2.1は67%から70%に上昇したが、Nous自身がテスト設定が異なり実際の向上とは言えないと述べている。Nousの結論は、中国の立場に沿ったモデルにおける偏向層は「非常に浅い」というものだ。すなわち後から薄く適用されており、5000万トークン規模の厳選された教師ありデータで、下層を乱さずに除去できるという。報道によると、Arete-27Bの重み、テストデータセット、訓練データはApache 2.0ライセンスでHugging Faceに公開されている。またNousは、NVIDIA Nemotron 3 Ultraの中国関連話題における異常な兆候は、中国のオープンウェイトモデルで訓練データを生成したことによる汚染に由来すると疑っており、自社プロジェクトでも同様の事例があったとしている。
開発者への影響
以下は上記報道に基づく分析と判断であり、本サイトによる再現結果ではない。 このニュースが最初に変えるのは、「アラインメント層」の移植可能性への期待である。Nousの手法と数値が妥当であれば、中国のオープンウェイトモデルで敏感な話題への回答傾向を作り直すコストは、数千万トークン規模の教師ありデータと通常のSFT1回分に収まり、事前学習のやり直しや強化学習への依存は不要かもしれない。これは、表現の口径に要件がある用途、たとえば複数地域向けのコンテンツ審査支援、政策系の検索拡張、世論要約などに、こうした重みを使うかどうかに直接影響する。逆に、報道は偏向が合成データを通じて生徒モデル間を伝播する可能性も指摘する。NousはNemotron 3 Ultraで異常な兆候を確認し、その源が訓練データ中の中国オープンウェイトモデルだと疑っているほか、自社プロジェクトでも同様の汚染があったとしている。つまり教師モデルを選んでデータを作る時点で、すでに一度口径を選んでいることになり、この段階は通常、配備モデルの選択よりも早く訪れる。 第二に、評価の口径そのものが接続時の変数になる。この報告の裁判役はGrok 4.7という単一モデルで、テストセットは評価対象側が自ら構築した。「宣伝」の判定基準(公式の語りをコピーする、それを支持する、あるいは同等に有効な見解として扱う)自体に立場が含まれる。報道も、この裁判役モデルは政治的傾向が右寄りと見られており、言語や回答形式が結果に明らかに影響すると述べている。したがって報告の割合は方向性を示すシグナルとして扱うのが適切で、選定文書にそのまま書けるスコアではない。こうした数値を内部レビューに使うなら、裁判役モデルが何か、プロンプトの言語と形式が統一されているかを併記することを勧める。そうでなければ異なるバッチ間で結果を比較できない。
導入と評価の提案
以下の3点は条件付きの提案であり、報道の事実ではない。 一、Arete-27Bの重みをそのまま採用するか、自社の口径で再訓練するか。対応する報道の変化は、約5000万トークンの教師あり微調整で、ある種の回答傾向を22%から1%未満に抑えられ、汎用能力も明らかに損なわれていないとされる点である。選択は、「中立」が欲しいのか「別の明確な立場」が欲しいのかで決まる。報道によればArete-27Bが約束するのは西洋の価値観であり、Nousの2024年のHermes 3はシステムプロンプトで設定できる中立路線だった。業務が積極的な表明を求めない場合(越境カスタマーサポート、学術検索など)、明確な立場を持つ重みに替えるのは偏向の方向を変えるだけであり、プロンプト層での制約は依然必要だ。測定可能な受け入れ基準は、業務内の敏感な境界プロンプト100〜200件に、それぞれ出典明記の参考事実を2〜4件付け、固定した裁判役でベースモデルと候補重みについて参考事実との矛盾率、拒否率、回避率を集計することであり、総合スコアだけを見ないことだ。 二、カテゴリ別にベースラインを建てるか、モデルの総合スコアだけを比べるか。対応する報道の変化は、中国のオープンウェイトモデル間で宣伝率に明らかな差があること(Qwen3.8-27B 22%、GLM-5.3 15%、DeepSeek V4.1 Flash 16%)、そしてArete-27Bで低下幅が最も集中したのが言論の自由カテゴリであることだ。選択は、製品が実際にこれらの話題を問うかによる。社内ナレッジベースのQ&Aではほとんど問わないが、公共議題向けの検索拡張やコンテンツ生成では問う。測定可能な基準は、実際にカバーする各カテゴリで少なくとも20件のプロンプトを用意し、拒否率、回避率、参考事実との矛盾率を個別に記録し、モデルの総合スコアではなくカテゴリ別に並べることだ。実際に発火するカテゴリの矛盾率を5%未満に抑えてから次の選定段階に進むことを勧める。 三、合成データのパイプラインに話題別の抜き取り検査を加えるか。対応する報道の変化は、汚染が配備モデル自体ではなく訓練データに由来する可能性だ。発動条件は、オープンウェイトモデルでSFTデータや評価データを生成している場合である。測定可能な基準は、生成した指示データから7カテゴリそれぞれ50〜100件を抽出し、本番と同じ裁判役プロセスで参考事実との矛盾率を集計し、この抜き取り検査を教師モデルを交換するたびに必ず実施することだ。
制限と未確認事項
報告中の割合とスコアはすべてNous Researchの自社構築テストと自己申告の結果であり、The Decoderはそれを伝えたもので、本サイトは独立した再現を行っていない。 裁判役はGrok 4.7という単一モデルで、テストセットは評価対象側が自ら構築した。803件のプロンプトは7カテゴリをカバーするが規模は限られる。報道自体も、裁判役モデルの政治的傾向や、言語と回答形式が結果に明らかに影響することを指摘している。 「汎用能力が損なわれていない」の根拠は、Nous内部のHermes Bench(65.60%対65.77%)とTerminal-Bench 2.1(67%から70%、Nousはテスト設定が異なると認めている)である。推論モードを有効にした際の3.07点は、5回の実行のうち2回に基づくのみだ。訓練データの中央値は約866トークンで、大半のサンプルは1000トークン未満であり、実際の長文コンテキスト業務リクエストの分布とは大きく異なる。 汚染の推測(Nemotron 3 Ultraの異常は合成データ由来)や、訓練用とテスト用プロンプトの重複が除去済みであることは、いずれもNousの自述であり、第三者の検証を欠く。 Arete-27Bは現時点でKimiSeekのモデルカタログに存在しない。報道上の公開経路はNous ResearchがHugging Faceで提供する重みとデータであり、可用性、ライセンス条件、今後の更新は公開元による。本サイト経由で呼び出せることを意味しない。ベースモデルのQwen3.8 27Bは本サイトのカタログに対応する項目があるが、両者は別の成果物であり、互いに代替できない。 報道は重み、テストデータセット、訓練データがApache 2.0ライセンスで公開されたとしている。これはライセンス面の表明であり、重みがダウンロード可能であること自体は許諾範囲を意味しない。実際の使用前に、公開元のリポジトリにあるライセンス文面を確認すべきである。
元の報道の図版

