笔记本上的 Qwen3.8 27B 读权重猜游戏:三对一错,单题最慢 65 分钟
2026 年 11 月 3 日,Simon Willison 复现论文的“只读权重猜游戏”:笔记本上的 Qwen3.8 27B 量化版答对 Pac-Man、Pong、Breakout,Freeway 答错;三道成功题耗时 46 分 12 秒至 1 小时 4 分 54 秒,默认 8192 上下文报错,客户端超时需放宽。
发生了什么
2026 年 11 月 3 日,Simon Willison 在博客发布复现记录。前一天公开的论文《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》(作者 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab)称,前沿模型可以仅凭原始浮点权重判断一个网络被训练来做什么,并能在不写训练循环的情况下原生修改权重。论文配套仓库给出四段自包含提示,除权重外逐字相同,分别对应在简化 10x10 网格上玩 Breakout、Pong、Pac-Man 与 Freeway 的强化学习策略网络,要求模型不使用任何工具、只回复一次,说出训练用的是哪款游戏。 Willison 只验证“无工具”这一半。他在笔记本上以 Qwen3.8 27B 的 Q4_K_M 量化版(约 17GB)、LM Studio 与 llm-lmstudio 插件运行:Pac-Man 答对,自报置信度 72%,耗时 46 分 12 秒、消耗 43,506 个推理 token;Pong 答对(75%,1 小时 4 分 54 秒);Breakout 答对(88%,52 分 25 秒);Freeway 答错,把它认成“简化版吃豆人”。答对的描述里仍写着 8x8 迷宫,而实验网格是 10x10,说明结论对、细节并不精确。同一批提示下,他经 OpenRouter 调用 Kimi K3.1 Pro,用 9 分 41 秒、19,493 个推理 token 答对 Breakout。博文记录了两处工程细节:默认 8192 上下文直接报错,必须换更长的上下文窗口;客户端超时要靠环境变量放宽。论文中关于 GPT-6 Astra 原生改权重、以及把 Qwen3.5-0.8B 的 MATH-500 从 7.9% 提到 48.1%、IFEval 提高三倍的说法,均为论文自述,本次复现并未涉及。
对开发者的影响
这条复现的价值不在“模型能读懂权重”这个断言本身,而在于它把一个模糊的能力问题变成了可观测的工程形状:一次禁用工具、只允许单次回复的推理,会被整段权重文本拉成数万推理 token、几十分钟的长任务。Pac-Man 一题 43,506 个推理 token、46 分 12 秒,Pong 1 小时 4 分 54 秒,Breakout 52 分 25 秒。这意味着评估这类任务时,第一位的约束往往不是准确率,而是实际耗时与上下文容量:本地路线付出的是长上下文占用的内存与等待时间,托管路线付出的是随推理 token 增长的计费量。报道中 Kimi K3.1 Pro 在 Breakout 一题上用了 9 分 41 秒与 19,493 个推理 token,但这是单题、单次,不能外推成整体倍率。 其次是提示词纪律。四段提示除权重外逐字相同,并明确禁止执行代码、只允许一次回复,可比性来自这两个约束,而不是模型本身。接入层若自动注入工具定义、系统提示或重试逻辑,测到的就不再是论文里的那件事,结果也无法与任何公开数字并列。 对 API 用户更实际的一点是:这类能力目前只出现在论文与个人复现中,报道未显示它已进入任何产品的接口。把它当作上下文长度与容量规划的压力样本,比当作可交付功能更稳妥。
接入与评估建议
以下为基于报道的条件性分析,不是已验证的结论。 第一,先决定这类长推理放本地还是走托管。报道给出的对照是:约 17GB 的 Q4_K_M 量化版 Qwen3.8 27B 在笔记本上四题答对三题,三道成功题各耗 46 分 12 秒到 1 小时 4 分 54 秒;Kimi K3.1 Pro 在它唯一被测的 Breakout 上用了 9 分 41 秒。若目标是几十次重复采样来估通过率,实际耗时先成为瓶颈,托管更现实;若有离线或不出网要求,本地是唯一选项。判据建议直接定为:四条公开提示各跑若干次,统计答对数量、p50 与 p95 单题耗时、超时与报错次数,而不是凭一次观感下结论。走托管时按所选服务商的定价页核算成本,不要拿一次成功的时间外推批量开销。 第二,把上下文长度与客户端超时当作首要配置项,而不是跑失败后再补。报道里最直接的复现障碍,是默认 8192 上下文报错,以及需要靠环境变量放宽客户端超时。要不要裁掉部分权重,取决于服务端能开多大的上下文:能覆盖完整提示就整段送入,保持与论文口径一致;开不到就必须截断,并承认截断后的结果不能与论文数字并列。可测判据是四条提示在无截断、无客户端超时的情况下全部返回,并逐条记录实际推理 token 数。 第三,保住“无工具、单次回复”的约束,并对输入留痕校验。为这类评估单独关闭工具调用与多轮追问;再校验四段提示除权重外的模板部分是否一致,并分别留存每次运行的完整提示哈希。注意四段提示本就只有权重不同,模板哈希一致是预期结果,不能证明发给模型的权重完整无损,只有逐次完整提示的哈希才说明输入未被接入层改写。判据是对话记录中工具调用次数为零、非权重模板校验通过、每次运行的完整提示哈希各自归档。
限制与待确认事项
需要保留的未知不少。这是单一作者、每段提示各跑一次的观察,没有重复采样,不构成可复现的基准;72%、75%、88% 是模型自报置信度,未经校准。Freeway 只记录了答错,博文没有给出该题耗时,因此不能推断四题都落在 46 到 65 分钟区间。论文关于 GPT-6 Astra 原生改写权重、把 Qwen3.5-0.8B 的 MATH-500 从 7.9% 提到 48.1%、IFEval 提高三倍等说法,均为论文自述,本次复现既未涉及也未独立验证。围绕该论文的公开批评针对的是框架与方法:spaCy 作者 Matthew Honnibal 认为论文把“无工具读权重”和“有代码改模型”混为一谈,Sean Goedecke 则把 0.8B 的修权重案例拆解为人类研究者也会采取的步骤。此外,实验对象是在小网格上玩四款游戏的策略网络,与编辑 27B 级模型权重没有可比性。博文未交代 Qwen3.8 27B 权重的许可条款,可下载的社区 GGUF 量化文件也不等于获得开源许可,商用前需单独核对。也没有证据表明这类能力已进入任何产品的 API。