Lev 让决策模型按题多转几圈:同一份权重覆盖多个深度
据机器之心 2026 年 11 月 2 日报道,Lehigh 等机构提出循环决策模型 Lev:每圈读一次选项概率,同一份权重可在不同深度作答,停止器按题决定圈数;JevBench 上 Lev-2.6B 从一圈 63.2% 升至四圈 76.2%。
发生了什么
机器之心 2026 年 11 月 2 日报道,Lehigh University、英属哥伦比亚大学与 Vector Institute 的研究者提出 Lev,一个用循环而不是思维链来加深思考的决策模型。它沿用 Jev、Kev 这类决策模型的任务形态:一次请求包含一段状态和若干带候选项的问题,模型直接给出每个选项的概率,不生成文本。区别在底座——Lev 换成预训练阶段就带循环的 Ouro 或 Nanbeige4.2,同一组解码层重复运行,每一圈之后由共享的 pointer head 读一次选项概率;pointer head 与 LoRA 适配器在各圈之间共享,损失对所有圈取平均,所以同一个 checkpoint 在每个深度都是可用的决策模型。一个逐深度的逻辑回归停止器决定每道题停在第几圈。作者把这种计算方式称为 System 1.5:接口仍是直接给出决定,但难题可以多花计算。 论文给出三个模型:Lev-1.4B(Ouro-1.4B,最多 4 圈)、Lev-2.6B(Ouro-2.6B,4 圈)和 Lev-3B(Nanbeige4.2-3B,2 圈)。其中 Nanbeige 预训练时只在最后一圈有损失,被用来检验 Lev 是否依赖被监督过的中间圈。在公开的 JevBench 231 道题上,Lev-2.6B 从一圈 63.2% 提升到四圈 76.2%,提升 13.0 个百分点(95% 置信区间 7.4 到 19.0),权重没有更换,变的只有循环深度。停止器的预测目标不是「是否答对」,而是「当前答案是否已与最深一圈一致」,阈值取能让至少 98% 的最终答案与最深答案一致的最小值,因此校准不需要人工标签。论文、代码、三个模型与三个数据集均已公开,报道未说明权重采用何种许可,也没有给出商用条款。报道同时强调,Lev 只在任务形态上类似 OpenAI Decisions 的独立实现,不复刻其权重、架构或 API,也未与其产品做性能对测。
对开发者的影响
对开发者来说,变化不在参数量,而在把「算多深」从训练期搬到服务期。决策模型的单次前向便宜,但计算量在训练时就固定,简单题和难题同价;思维链把难题变准的代价是每个问题都要为推理文本付费。报道引用的对比里,同一 26B 底座上打开思考让难题提高 9 到 13 个点,难题中位耗时变成三到四倍。Lev 的做法是让同一份权重在不同圈数上给出不同工作点:报道称按需深度在两个留出测试集上只用了最深一圈 76% 到 85% 的环路计算,准确率差 0.3 到 0.8 个点。 收益的边界同样具体。按浮点运算量算,报道说 Lev 与 dense 方案持平或更差,因为每一圈都要跑完整个底座,优势体现在延迟而不是算力:在 39 到 46 毫秒区间,按需的 Lev-1.4B 和 Lev-3B 比同延迟的级联高 7.0 到 8.8 个点,比最好的 dense 方案高 5.4 到 7.5 个点;但 Lev-2.6B 在约 150 毫秒处并不优于直接用 Kev-4B。深度也不是只会改对,LevBench 上第一个额外圈改对 20.4%、改错 8.6%,还有 12.6% 的题浅层答对而最深圈答错,以「与最深一致」为目标的停止器救不回来。任务类型也有差别,语言理解类提升 19.0 个点,幽默与颜色偏好这类品味判断没有收益。作者推测,额外的圈提供了组合多个事实所需的串行计算,而品味判断用不上这类计算;这一机制解释尚未被独立验证,不能当作已确认的因果结论。
接入与评估建议
以下为条件性建议,不是报道事实。 第一,先决定要不要做按需深度,而不是先换模型。报道给出的变化是:相对最深一圈,按需深度能少算 15% 到 24%;但相对「同等成本下混合固定深度」优势不大,Lev-2.6B 在留出集上只高 0.2 个点,Lev-3B 高 1.0 个点;而环路圈数的节省要变成线上吞吐,还需要服务端支持不同深度请求的打包与调度,论文明确未做这部分。若你的推理栈还做不到按深度分桶或提前退出,建议先按固定两圈上线;只有当你确实要给难题留尾部预算、并且愿意改造调度时,再投入停止器。前提是同一批次内不同圈数的 padding 与调度开销可接受。可测的判据是:在自有流量样本上,按需深度不低于固定两圈的等成本前沿,同时 p95 圈数下降 15% 以上;若改造后 p95 延迟没改善,瓶颈在调度而不在圈数。 第二,停止器阈值必须用自己的流量重定。报道显示,在有标签数据上以「是否答对」为目标调阈值,两个 Ouro 模型都会跌到固定深度前沿以下;而以「与最深答案一致」为目标、在无标签目标请求上校准,一个简单的最高概率阈值就能做到与完整停止器只差 0.2 个点,每折 500 道题即可。做法是录下自己业务请求的各圈输出,用「是否与全深度答案一致」当标签重选阈值,别直接搬论文阈值。前提是能离线跑一遍全深度,无标签不等于零成本。判据是留出流量上早退答案与全深度答案的一致率不低于 98%;如果下游动作不可撤销,应把这个门槛抬高并按业务损失重定阈值。 第三,用决策接口替换生成式推理前先做分层对照。报道指出 Lev 只输出候选概率、不产出解释文本,而打开思考在难题上多 9 到 13 个点但耗时数倍。工具路由、分类、动作排序这类任务可以先小样本对照两条路径;需要理由或可审计轨迹的场景应保留生成式路径。前提是任务能穷举成候选集合。判据是同一评测集上准确率不降、p50 延迟落在预算内,并且单独统计被改错的比例,而不只看净提升。 第四,不要在 dense 底座上外挂循环。报道提到,在 Qwen3.5-0.8B 中间 8 层接成带门控循环再按 Kev 配方训练,准确率变化不到半个点,门控始终接近零。想要深度旋钮应从原生循环底座出发;若仍要尝试,先看门控值是否离开零、逐圈准确率曲线是否有斜率,曲线是平的说明循环没被用上。
限制与待确认事项
论文的循环底座只覆盖 1.4B 到 3B,这是目前公开可得的规模,更大模型上深度曲线是否成立未知;JevBench 结论只基于 231 道公开题。按需深度的「少算」是离线统计的环路圈数,不是线上耗时;延迟数字来自单张 H200、bf16、一次一个请求,未使用融合算子、图捕获或状态缓存,也未做服务端优化,换到生产环境读数会变。12.6% 的「浅层答对、深层答错」说明加深并非单调更好。许可方面,报道只说代码、模型与数据已公开,未交代权重采用何种许可,权重公开不等同于开源许可,商用前需自行核对仓库条款。Lev-1.4B、Lev-2.6B 和 Lev-3B 目前都不在 KimiSeek 的模型目录中;报道中的模型可用性指作者公开的仓库与权重,不是 KimiSeek 的上线状态,也不代表已有厂商 API。若未来出现托管服务,其可用性以相应服务商为准。上述数字来自机器之心的报道与论文公开描述,未做独立复现或实测。