← 全部模型资讯

StartLux-Decision 让决策模型自己判断要不要推理,概率经过筛选后却会失真

据机器之心 2026 年 11 月 4 日报道,StartLux 联合香港大学、南方科技大学提出 StartLux-Decision:Instant 与 AutoThink 两套权重共用选项概率读出,AutoThink 在最高选项概率低于 0.9 时才生成推理,论文另给出 RLCD² 训练与 DecisionPivot 评测,并附代码仓库与 Hugging Face 权重地址。

发布 更新

发生了什么

这不是聊天模型。StartLux-Decision 把请求写成“输入状态+问题+候选选项”,从模型最后一层的 logits 里取 A、B、C 等字母对应位置,经温度缩放与 softmax 得到每个选项的概率,不额外增加分类头;Instant 只做一次前向,AutoThink 在推理前后各读一次。两者注意力方向不同:Instant 在 Full Attention 层去掉因果掩码,让提示内 token 双向交互,Linear Attention 层仍保留因果计算;AutoThink 保留因果注意力以支持生成推理轨迹。论文明确说明二者并非同一组发布权重,不能互相替代。 按论文默认评测配置,AutoThink 先算初始分布 p₀,最高选项概率达到 0.9 就直接返回;低于 0.9 才生成推理轨迹,从轨迹末尾读出 p₁,最终输出按约 75% 的权重偏向推理后分布。训练分三阶段:全参数监督微调、适配器训练并完成注意力方向分化,之后对 AutoThink 做推理监督与 RLCD² 强化学习。RLCD² 的奖励由冻结评分模型给出的概率得分增量与超长惩罚构成,软长度预算 3072 token,生成上限 4096 token。 配套评测 DecisionPivot 含 13 类程序生成任务、每类 600 题共 7800 题,多数组成只改一个足以改变答案的细节的对照题对,核心指标是题对两题都答对的成对准确率。论文报告 4B、9B、27B AutoThink 分别为 59.9%、59.9%、86.9%,对应 Instant 为 41.5%、47.5%、75.4%;同一张表里,Decision 3.0 d3 为 71.3%,Perplexity Decider v1.1 为 70.1%,启用低推理强度配置的 GLM-5.3 为 82.2%。这些均为论文自行报告的数字与运行设置。

对开发者的影响

对接入方式的影响比分数更直接。其一,输出是概率而不是文本:Instant 不做自回归生成,不能当聊天或摘要模型用;如果部署环境拿不到逐选项的 logits 或概率,这套模型的核心接口就用不上。其二,延迟变成双峰:论文在单张 H200、BF16、256 token 提示、单请求条件下测得 Instant 单次读出中位延迟 24—52 毫秒,但 AutoThink 一旦触发推理,端到端还要加轨迹生成与第二次读出,p50 会掩盖长尾。其三,概率的语义依赖下游策略:论文以 9B 作验证器发现,单条预测中被赋予 80%—90% 置信度的回答实际正确率 92%,从 32 个候选里挑最高分后,同一置信区间降至 78%,因为选择操作改变了返回预测的条件分布。其四,本地部署有内存门槛:27B 的 BF16 版本在 64GB 统一内存的 M5 Pro 上超出可用内存,需靠 8-bit 或 4-bit 量化才跑得起来。其五,任务收益不均匀:4B 和 9B 的提升集中在筛选、目标状态核验与排班冲突这类需要逐项计算的任务,政策解释、条款变动、依赖关系处理上强单次预测模型仍占优。

接入与评估建议

以下为基于论文报告的条件分析,不是论文给出的建议。 判断一:选 Instant 还是 AutoThink,阈值定在哪。报告中可依据的改动是 AutoThink 的按置信度门控——27B 在 DecisionPivot 上约 39% 的题直接作答、单题准确率约 96%,其余约 61% 进入推理后准确率由约 57% 升到约 93%。若你的负载是请求路由、检索结果判断这类选项少、上下文已给全的判断,Instant 的价值就是省掉生成;若规则里常有例外条款、阈值边界,应选 AutoThink 并自行扫阈值。前提是部署侧能读到逐选项概率。可检验的标准:在自建对照题对上测成对准确率,同时统计进入推理的请求占比与 p95 延迟,把阈值从 0 扫到 1,找出准确率不再上升而 token 继续增加的那一段。 判断二:推理长度预算设多少。报告中可依据的改动是 RLCD² 的长度惩罚——4B 的成对准确率在惩罚从 512 token 起生效时由 60.4% 掉到 52.9%,放宽到 3072 token 回到 59.9%;完全去掉惩罚虽得 61.7%,但该评测中约三分之一的推理在生成上限内无法自行结束。选择是把软预算对齐你自己推理长度分布的上沿,而不是照搬 3072。前提是能记录轨迹长度与是否自行结束。可检验的标准:自行结束比例与每题 token 消耗,而非只看准确率;若自行结束比例明显偏低,先查是否把真正需要长计算的问题一起压掉了。 判断三:概率校准要不要按策略重做。报告中可依据的改动是策略感知校准——在覆盖 best-of-N、推理门控、级联与先筛选后推理的 184 组设置中,有符号的置信度—准确率差距从 −11.7 至 +20.5 个百分点收缩到 −2.7 至 +2.1 个百分点。选择是在实际筛选或路由之后、用被返回的那个预测拟合校准,而不是对单个候选校准后直接沿用。前提是有带标签的校准数据,并能记录候选数量、平均候选分数或触发路由的置信度。可检验的标准:在固定置信度区间内比较预测置信度与实际正确率,并统计在你设定的自动执行阈值上错放行的比例;策略一改,校准映射与接受阈值都要重测。

限制与待确认事项

StartLux-Decision 的 Instant 与 AutoThink(0.8B 至 27B)目前不在 KimiSeek 的模型目录中;报道也没有提到托管 API,代码与权重的可用性以项目方 GitHub 仓库和 Hugging Face 页面为准,属于项目方渠道而非本站提供。来源未交代权重以何种许可发布:权重可下载不等于开源许可,允许的商用、再分发与改造范围要看模型卡与许可文件,不能从“权重已放出”推断。 数字本身也有边界。DI 0.3 公开部分只对应完整榜单评分的 20%,论文说明它曾用于本研究的数据配方与模型选择,不是独立测试集;AutoThink 在该榜的分数不能视为它进入了排除推理轨迹的单次预测榜单。在 2986 条预留样本上,三个规模的最终决策准确率变化区间都包含零,这组对照最能支持的是推理终止与生成效率改善,而不是准确率普遍提高。论文还自行提示:48.0% 是 AutoThink 关闭推理后的成绩,不能与 Instant 的 75.4% 混用;校准映射迁移到未见数据集后仍有最高约 6.1 个百分点的残余过度自信;固定 0.9 阈值不等于逐题最优的计算分配;单张 H200 单请求的延迟数字不能外推到并发服务;跨任务族迁移的证据仍然有限。

三分钟跑通第一次调用

注册后创建 API Key。调用费用从账户余额扣除。新用户首充 7 折。充 ¥500,实付 ¥350,到账 ¥500。充 ¥1000,实付 ¥850,到账 ¥1000 最低充值仍为 ¥10,适合试用。

来源与编写说明

决策模型何时需要思考?StartLux-Decision 的按需推理与概率校准

本文基于所列来源,由 AI 辅助整理、分析和翻译,并经过自动质量检查。分析与建议不代表实测结果;模型可用性与价格请以当前目录为准。