ノートPCのQwen3.8 27Bが重み当てクイズで3問正解、1問不正解 最長65分
2026年11月3日、Simon Willison氏が論文の「重みだけを読むクイズ」を追試した。ノートPC上のQwen3.8 27B量子化版はPac-Man、Pong、Breakoutを正解し、Freewayを誤答。成功した3問は46分12秒から1時間4分54秒かかった。既定の8192コンテキストではエラーになり、クライアントのタイムアウトは緩和が必要だった。
主な変更
2026年11月3日、Simon Willison氏がブログで追試記録を公開した。前日公開の論文「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」(著者Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab)は、フロンティアモデルが生の浮動小数点重みだけからネットワークの訓練目的を判断でき、訓練ループを書かずに重みを原生に変更できると主張している。論文のリポジトリには4つの自己完結型プロンプトがあり、重み以外は一字一句同じで、簡略化した10x10グリッドでBreakout、Pong、Pac-Man、Freewayを遊ぶ強化学習方策ネットワークに対応する。モデルにはツールを使わず1回だけ回答し、どのゲームで訓練されたかを当てることが求められる。 Willison氏は「ツールなし」という半分だけを検証した。ノートPCでQwen3.8 27BのQ4_K_M量子化版(約17GB)、LM Studio、llm-lmstudioプラグインを実行した。Pac-Manは正解で自己申告の確信度72%、46分12秒、43,506推論トークン。Pongは正解(75%、1時間4分54秒)。Breakoutは正解(88%、52分25秒)。Freewayは誤答で「簡略版Pac-Man」と認識した。正解した説明にも8x8迷路とあり、実験のグリッドは10x10なので、結論は正しいが細部は正確ではない。同じプロンプト群でOpenRouter経由のKimi K3.1 Proは9分41秒、19,493推論トークンでBreakoutを正解した。ブログは2つの実装上の注意も記録している。既定の8192コンテキストでは直ちにエラーになり、より長いコンテキストウィンドウに替える必要があった。クライアントのタイムアウトは環境変数で緩める必要があった。論文にあるGPT-6 Astraの原生の重み変更、Qwen3.5-0.8BのMATH-500を7.9%から48.1%に上げたこと、IFEvalを3倍にしたことはいずれも論文の自己申告で、今回の追試では扱っていない。
開発者への影響
この追試の価値は「モデルが重みを読める」という主張そのものではなく、曖昧な能力の問いを観測可能な工学的輪郭に変えた点にある。ツールを禁止し1回だけの回答に制限した推論が、重みテキスト全体によって数万推論トークン、数十分の長いタスクになる。Pac-Manは43,506推論トークン、46分12秒。Pongは1時間4分54秒。Breakoutは52分25秒だった。つまりこの種のタスクの評価では、第一の制約はしばしば精度ではなく、実際の所要時間とコンテキスト容量になる。ローカル路線は長いコンテキストが占めるメモリと待ち時間を払い、ホスト型路線は推論トークンに応じて増える課金額を払う。報道ではKimi K3.1 ProがBreakoutの1問だけで9分41秒、19,493推論トークンを使ったが、これは1問・1回であり、全体の倍率に外挿できない。 次はプロンプトの規律である。4つのプロンプトは重み以外が一字一句同じで、コード実行を明示的に禁じ、1回の回答だけを許す。比較可能性はこの2つの制約から来ており、モデル自体からではない。接続層がツール定義、システムプロンプト、リトライ処理を自動注入すると、測っているのは論文の対象ではなくなり、結果を公開された数値と並べられない。 API利用者にとってより現実的な点は、この能力が現時点では論文と個人の追試にしか現れておらず、報道は製品APIに搭載されたことを示していないことだ。提供可能な機能とみなすより、コンテキスト長と容量計画の負荷サンプルとして扱う方が無難だ。
導入と評価の提案
以下は報道に基づく条件付き分析であり、検証済みの結論ではない。 第一に、この種の長い推論をローカルに置くかホスト型にするかを先に決める。報道の比較は、約17GBのQ4_K_M量子化版Qwen3.8 27BがノートPCで4問中3問正解し、成功した3問がそれぞれ46分12秒から1時間4分54秒だったのに対し、Kimi K3.1 Proは唯一試したBreakoutで9分41秒だったというものだ。通過率を見積もるために数十回の反復サンプリングをするなら、実際の所要時間が先にボトルネックになり、ホスト型の方が現実的だ。オフラインや外部ネットワークに出せない要件があれば、ローカルが唯一の選択肢になる。判断基準は、公開された4つのプロンプトをそれぞれ複数回実行し、正解数、問題あたりの所要時間のp50とp95、タイムアウトとエラーの回数を集計することとし、一度の印象で結論を出さないのがよい。ホスト型では選択した事業者の料金ページでコストを計算し、1回の成功時間からバッチ費用を外挿しない。 第二に、コンテキスト長とクライアントのタイムアウトを、失敗してから補うのではなく最初の設定項目とする。報道で最も直接的な追試の障害は、既定の8192コンテキストでエラーになったことと、環境変数でクライアントのタイムアウトを緩める必要があったことだ。重みの一部を切り詰めるかは、サーバー側でどれだけのコンテキストを開けるかに依存する。完全なプロンプトを収められるなら全体を送り、論文の条件と揃える。収まらないなら切り詰める必要があり、その結果は論文の数値と並べられないと認める。測定可能な基準は、4つのプロンプトが切り詰めなし、クライアントのタイムアウトなしで全て返り、実際の推論トークン数を各件記録することだ。 第三に、「ツールなし、1回だけの回答」という制約を守り、入力の記録を検証する。この種の評価ではツール呼び出しと複数ターンの追問を別途無効にする。さらに4つのプロンプトで重み以外のテンプレート部分が一致するか検証し、実行ごとに完全なプロンプトのハッシュを別々に保存する。4つのプロンプトは元々重みだけが異なるため、テンプレートのハッシュ一致は想定通りの結果であり、モデルに送った重みが完全無損であることは証明しない。実行ごとの完全なプロンプトのハッシュだけが、入力が接続層で書き換えられていないことを示す。基準は、会話記録のツール呼び出し回数がゼロ、重み以外のテンプレート検証が通過、実行ごとの完全なプロンプトハッシュがそれぞれ保管されていることだ。
制限と未確認事項
残すべき不明点は少なくない。これは単一著者による、各プロンプト1回だけの観察であり、反復サンプリングがなく、再現可能なベンチマークではない。72%、75%、88%はモデルの自己申告確信度で、較正されていない。Freewayは誤答だけが記録され、ブログは所要時間を示していないため、4問すべてが46〜65分の範囲に収まるとは推論できない。論文のGPT-6 Astraによる原生の重み書き換え、Qwen3.5-0.8BのMATH-500を7.9%から48.1%に上げたこと、IFEvalを3倍にしたことなどの記述は、いずれも論文の自己申告であり、今回の追試では扱われず、独立検証もされていない。論文をめぐる公開批判は枠組みと手法に向いている。spaCy作者Matthew Honnibalは、論文が「ツールなしで重みを読む」ことと「コードでモデルを変更する」ことを混同していると考える。Sean Goedeckeは0.8Bの重み修正事例を、人間の研究者も取る手順に分解した。加えて、実験対象は小グリッドで4ゲームを遊ぶ方策ネットワークであり、27B級モデルの重み編集とは比較できない。ブログはQwen3.8 27Bの重みのライセンス条件に触れておらず、ダウンロード可能なコミュニティのGGUF量子化ファイルもオープンソースライセンスを得たことを意味しない。商用前に別途確認が必要だ。この能力が何らかの製品APIに入ったことを示す証拠もない。