NUS 发布 Jeva-4B:把“没有合适选项”和缓存写进决策架构
据新智元报道,新加坡国立大学 xML Lab 提出 Jeva,以 Qwen3.5-4B 为骨干加一个决策块,直接输出选择、null 或分数;论文报告顺序翻转率为零、2048 候选下准确率 69.88%,权重已在 Hugging Face 发布。
发生了什么
据新智元 2026 年 10 月 26 日报道(原文 1792987620000 对应日期),新加坡国立大学 xML Lab 发布论文与代码,提出面向决策任务的 Jeva 架构,并公开 Jeva-4B 模型。报道称,该模型以 Qwen3.5-4B 为骨干,外加一个轻量决策块:共享编码器分别表示请求与候选选项,决策块读取整个候选集合,只更新请求状态,因此选项表征可缓存复用,而当前判断每次重新计算。 报道列出四项设计目标:区分“候选之间谁更好”和“整组是否存在可接受答案”,后者用覆盖概率单独估计,并允许输出 null;按候选集合做对称聚合,使概率跟随候选身份而非列表位置;对每个候选使用同一评分规则,从而直接处理完整候选集合而非多轮淘汰;缓存选项语义表征及其层投影,在候选集重新组合时复用。同一套计算支持 Choice、Noul(命题为真的概率)和 Score 三类输出。 报道给出的实验结果均出自论文:在 BANKING77 构造的 3,080 个请求(每请求 16 个候选,含 588 个答案缺席)上,null 检测 AUROC 为 98.66%,对照为 KEV-BF16 93.61%、InternDecision-4B 84.27%、JevK5 79.44%;在 600 个 Choice 样本上测试原始顺序、倒序及最多三种随机排列,Jeva 原始准确率与“所有测试顺序均答对”的准确率同为 76.67%,未见决策翻转,对照翻转率为 17.00%、22.67%、26.17%;在 ToolRet 的 32 至 2,048 候选设置中,2,048 候选下准确率 69.88%,单张 H200 请求中位延迟 12.04 秒,而 JevK5 为 67.47% 与约 28.35 秒;固定 83 个问题、候选从 32 扩展到 2,048 时,Jeva 在所有规模下都答对其中 58 个问题,JevK5 为 48 个,CLM 为 7 个;在 MLDR 长文档实验中,候选全部命中缓存时请求中位延迟从约 2.10 秒降至 75.1 毫秒,报道称不同缓存条件下未观察到决策改变。上述数字均为论文自报,本文未独立复现。
对开发者的影响
对开发者而言,Jeva 提出的不是又一个通用聊天模型,而是一种把“排序 + 拒答 + 缓存”耦合进推理路径的形态,这会改变几类系统的接入设计。第一,输出契约变了:候选集合作为一次请求的输入,模型返回带 null 的分布或分数,而不是一段可再解析的文本。把现有“让模型输出 JSON 选一个”的提示词链路改接这类模型,需要在服务层定义候选 ID、覆盖概率阈值和 null 的降级行为,日志也要记录本次请求的完整候选集,否则事后无法判断某次拒答是候选不合适还是模型出错。第二,缓存从提示词层下沉到架构层:报道称可缓存的是选项表征而非答案,这对政策条款、长文档库、固定评分标准这类“候选相对稳定、问题不断变化”的场景有直接意义,但意味着缓存键要绑定模型版本、决策类型与编码设置,模型或编码配置一换,旧缓存必须失效。第三,候选规模不再需要靠多轮淘汰控制:报道称 2,048 个候选仍在同一次决策头中比较,这简化了检索后的重排流程,但也把延迟与候选数量、候选长度直接绑定,12.04 秒的中位延迟说明大候选集仍是离线或异步任务,而非交互式调用。需要说明,报道中的对照模型命名(如 Jev-1.13.0、JevK5、CLM)与基线配置信息有限,读者不应把这些对比数字外推到自己的数据分布或中文业务候选集上。
接入与评估建议
以下为建议与条件分析,不是报道事实。 决策一:是否把现有“生成式选择”换成决策头接口,取决于你的候选是否可枚举、以及拒答是否必须显式。若业务里确实存在“整组都不适用”的情况(例如工单分派、意图路由),报道中的 null-aware 设计值得单独验证:构造一批你真实分布中“无合适候选”的请求,与有答案请求混合,扫描阈值后记录 AUROC 和固定误拒率(例如 5%)下的召回率,只有当这一指标明显优于现有提示词方案,才值得承担接口改造。若你的候选总是存在正确答案,这项能力带来的收益有限,改造优先级应下调。 决策二:是否采用选项缓存,取决于候选库的复用模式。先统计一批线上请求,计算候选集合之间的重叠比例(报道中的例子是 ABC、BCD、ACD 这类逐步重叠),若重叠度高且候选文本较长,可按报道思路测量全命中与零命中两种情况下的请求延迟差;同时必须验证缓存命中前后同一请求的决策是否一致,因为报道只称在其实验中未观察到决策改变,这不构成对你数据上等价性的保证。若候选几乎每次全新,缓存层带来的复杂度可能超过收益。 决策三:候选规模上限应按延迟预算而非准确率单独决定。报道在 2,048 候选下给出 69.88% 准确率与 12.04 秒中位延迟,这两个数字应一起看:若你的场景要求秒级响应,就需要在更小候选集上测准确率曲线,找出准确率开始下降的拐点,再决定是扩大候选还是保留现有召回裁剪。评估时固定问题、逐步增加候选(报道用 83 个问题从 32 扩到 2,048 的做法可直接借用),统计“所有规模下都答对”的比例,这比单点准确率更能暴露稳定性。 决策四:顺序鲁棒性应作为上线前的固定回归项。按报道方法,对同一批样本测试原始顺序、倒序和若干随机排列,按候选身份而非位置对齐结果,记录翻转率。对涉及合规、风控或评分的场景,翻转率是比平均准确率更该盯住的指标。
限制与待确认事项
本文所有实验数字均来自新智元转述的论文结果,未经独立复现,对照模型的配置与训练细节在报道中不完整,跨模型比较需谨慎。报道未说明 Jeva-4B 权重在 Hugging Face 上采用的具体许可条款,权重可下载不等于可商用或可再分发,部署前须自行核对模型卡与许可证原文。报道也未给出 API 服务、定价或托管可用性信息,若存在任何调用方式,均以发布方说明为准。此外,报道中的实验集中在 BANKING77、ToolRet、MLDR 等英文任务,中文候选集、行业术语与长文档上的表现未知。需要特别指出:Jeva-4B 这一版本当前不在 KimiSeek 模型目录中,KimiSeek 上不存在与该版本精确对应的条目,任何关于其 API 可用性的说法都仅指发布方,与本站无关;如需在 KimiSeek 上做同类决策任务,应另行评估本站已列出的模型,并以定价页面为准。