vLLM Semantic Router 发布 d3-ultra：27B 多模态决策模型，一次读入回答全部问题
据 MarkTechPost 2026 年 10 月 26 日报道，vLLM Semantic Router 团队以 Apache-2.0 发布 27B 多模态决策模型 d3-ultra，不生成文本，单次读入输入即为每个问题的答案返回概率，覆盖路由、分类、视觉框选与视频检查。
发生了什么
据 MarkTechPost 2026 年 10 月 26 日报道，vLLM Semantic Router 团队发布了 d3-ultra，一个 26.09B 参数的稠密多模态决策模型（含 0.46B 视觉编码器），权重以 Apache-2.0 许可开放，属于其 Decision 3.0 家族（0.6B 到 27B）。与生成式模型不同，d3-ultra 不输出文本：调用方提交一个状态（文本或 JSON，外加图像或视频）和一组带类型的问题——Choice、Yes/No、Score、Box、Track——模型只读一次输入，就为每个问题的每个候选答案返回概率。报道称配置显示其骨干为 Qwen3.5 架构、64 层（48 层线性注意力加 16 层全注意力），模型卡未点名基础检查点，而 vLLM 的配方称同门 d3 基于 Qwen3.8-27B 训练，因此 d3-ultra 自身的基座出处尚不明确。每个问题上下文 131,072 tokens，超长请求以 max_length_exceeded 直接失败而非静默截断；Box 类型固定返回一个框和置信度，置信度接近 0 被视为目标不存在。报道给出的部署途径包括：Transformers（需 transformers==5.17.0）配可选 flash-linear-attention 内核、于 2026 年 10 月 25 日并入 PR #5449 的 vllm-sr serve 命令、模型卡称提供免费 key 的托管接口，以及官方 Hugging Face Space 演示。性能方面，团队在两个自建私有测试集上与 GLiDE V1.2、d1-ultra、d3-turbo、d3 和 Jev 1.14 比较：SR-Text 为 10,411 条请求、73,495 个问题（机会校正准确率），d3-ultra 得 87.2 居首，高于 GLiDE V1.2 的 85.1 与同门 d3-turbo 的 83.1；唯在“艺术与人类品味”领域 d3-ultra 得 89.6、d1-ultra 得 90.8，报道称该差异在误差范围内。SR-Box 覆盖 4,984 张图像的 5,678 个框选问题，以 IoU 0.5 为正确，d3-ultra 在 10 个领域得 58.2%、9 个领域得 54.6%，低于 d3-turbo 的 60.0% 与 59.6%，团队称 d3-turbo 在自然图像上更强、d3-ultra 在图表上领先。延迟方面，报道称在单块 AMD Instinct MI325X 上用 AutoModel 以 BF16 权重测试，单张照片的单问题耗时 304 ms，255 个问题耗时 2.16 s，平均每增加一个问题约 7.3 ms；官方尚未列出量化版本。所有基准数字均为团队在私有测试集上的自报结果，公开指数显示“已提交、尚未上榜”。
对开发者的影响
这个模型的形态对集成方式的影响大于对单项能力的影响。常规生成式接口按输出 token 计费和按并发规划容量，而 d3-ultra 的成本与延迟结构是“每次输入做一次前向，问题越多增量越平坦”——报道给出的 7.3 ms/问题说明，把多个判断合并进同一次调用时，主要开销集中在那一次读入上。对已经在用语义路由器做请求分流的团队，这提供了一条替代路径：把“这个请求该走哪个模型”“这张工单属于哪个队列”“这条内容是否违规”之类判断，从提示通用 LLM 输出 JSON 再解析，改为在受控的带类型问题上取概率，输出天然是结构化的概率值，少了一层解析失败的风险。代价是灵活性：模型不做自由生成，问题类型与选项需要事先设计，超出这些类型的任务无法用它完成。许可方面应分清：报道称权重以 Apache-2.0 开放，这是许可条款而非仅仅是权重可下载；原则上有利于商用与再分发，但实际使用仍应核对模型卡与仓库中的许可文件，不应由“权重可下载”推断许可权利。部署上，26.09B 稠密参数以 BF16 运行需要可观显存，报道的测试只在单块 AMD MI325X 上完成且暂无官方量化版本，想在较小显存设备上自托管的团队目前缺乏官方路径。两项关键能力数据方向相反——文本类判断全面领先同门，视觉框选却落后 d3-turbo——说明选型不能按“更大更新就更好”一刀切，需按工作负载分别取舍。基座出处仍是信息缺口：配置显示 Qwen3.5 架构，配方只说明同门 d3 基于 Qwen3.8-27B，模型卡未点名 d3-ultra 的基础检查点，这会影响对训练数据来源、许可继承和后续微调空间的判断。所有基准均为团队私有测试集自报，公开指数尚未上榜，第三方复现前应把 87.2 与 58.2% 视为厂商自报。
接入与评估建议
以下为基于报道的条件性分析与建议，不是已核实的事实。第一，如果团队正用生成式 LLM 做请求路由或分类，先做“同输入对照”：取现有路由日志里的一批真实请求，分别用当前提示词方案与 d3-ultra 的 Choice 或 Yes/No 问题形式各跑一遍，以同一批人工标注答案为基准，比较准确率与端到端延迟。触发条件是决策类别有限且可枚举、答案能写成固定选项；若判断常需要自由解释或多步推理，替换就不合适。可测指标是同一标注集上的准确率与 P95 端到端延迟，只有当 d3-ultra 不低于现有方案且总延迟更低时才考虑切换。第二，如果负载以视觉定位为主，不要因为 SR-Text 领先就默认采用 d3-ultra。报道称 d3-turbo 在自然图像框选上更强、d3-ultra 在图表上领先，因此建议按你们自己的图像类型分层（自然照片与图表两类分开），对两个模型分别以 IoU 0.5 为口径测正确率，并单独统计“返回置信度接近 0 而目标实际存在”的漏检比例，再按图类占比决定用哪个；只有当图表类图像占比较高时 d3-ultra 的定位优势才可能兑现。第三，自托管前先做显存与吞吐核算：按 26.09B 稠密 BF16 连同视觉编码器和 KV 缓存估算显存需求，在目标硬件上实测单请求回答 255 个问题是否接近报道的 2.16 s 量级，并把“单问题 304 ms”当作首次读入开销做容量基线；若显存不足且官方仍无量化版本，应将该路径标为暂不可行，而不是自行量化后假定质量不变。第四，设计问题时把 131,072 token 的硬上限作为约束：长文档或多帧视频需先分块，并对 max_length_exceeded 错误单独埋点，避免把请求失败误计为低置信度。第五，模型卡称有提供免费 key 的托管接口，但报道未说明配额、稳定性与数据条款，生产使用前应自行核实服务条款。
限制与待确认事项
报道中的准确率均为团队在私有测试集上的自报结果，未经第三方复现，公开指数标注为“已提交、尚未上榜”。延迟数据是另一类信息：报道称其在单块 AMD Instinct MI325X 上以 AutoModel 和 BF16 权重测得，并非私有基准，其他硬件与推理栈下的表现未知，报道也未公开与其他模型在同一硬件上的对比延迟。报道未说明两个私有测试集的样本构造是否偏向该家族擅长的任务类型。基座出处存在信息缺口：配置显示 Qwen3.5 架构，配方只称同门 d3 基于 Qwen3.8-27B，模型卡未点名 d3-ultra 的基础检查点，因此不能把 Qwen 系骨干的说法当作已确认事实。部署测试限于单块 AMD Instinct MI325X 与 BF16 权重，尚无官方量化版本。托管接口的免费 key 条款、限额与可用性报道未涉及，此类安排可能随时变化。截至本次目录核查（2026 年 10 月 27 日），d3-ultra 未出现在 KimiSeek 的可用模型目录中，报道所述 API 可用性指厂商自建接口，与本站无关；读者若关心可用模型与计费，应以站内定价页面为准。