模型对比与实测

Kimi、DeepSeek、GLM、Qwen,怎么选?

同一组 Prompt、同一套指标,比较国产大模型在中文、代码、长文本和 API 调用中的真实表现。

首批测试案例已公开,结果会随模型版本更新。

模型名称和宣传参数不能替代真实请求。页面公开测试输入、验收条件、延迟、Token 用量和按目录价格核算的人民币成本,方便你复测并按自己的场景做选择。

01 / FOCUS

先看四类模型的测试重点

K

Kimi

重点观察中文长文本、资料整理和多轮上下文保持。

中文长文本上下文保持多轮对话
D

DeepSeek

重点观察复杂推理、代码任务和请求成本。

复杂推理代码任务Token 成本
G

GLM

重点观察中文场景、结构化输出和工具调用。

中文场景JSON 输出工具调用
Q

Qwen

重点观察多语言、代码和工具调用的综合表现。

多语言代码与工具上下文能力
02 / MATRIX

统一测试矩阵

以下是每个模型都会跑的公开维度,不预先给出未经测试的排名。

测试维度记录内容为什么重要
中文与长文本信息保留、上下文一致性、摘要结构真实业务文档是否可直接使用
代码与推理测试通过率、解释质量、边界处理修复问题是否减少人工返工
结构化输出JSON 解析、字段完整性、工具调用能否稳定接入自动化流程
成本与延迟首字延迟、总耗时、Token 费用线上体验和预算是否可控
03 / REPRODUCIBLE TESTS

可复现实测案例

每个案例都是真实 API 请求:输入、验收条件和模型输出摘要一起公开。你可以复制 Prompt,只替换 model 参数复测。

01

案例 01 · 客服工单分流

一个充值已扣款但余额未到账的紧急工单,测试模型能否稳定输出可入库的 JSON。

Prompt你是客服工单路由器。只输出 JSON,不要 Markdown,不要解释。字段必须为 category、priority、needs_human、reply_language、reason。category 只能是 billing、account、api;priority 只能是 low、medium、high;reply_language 使用 BCP-47。 工单:我昨晚给 API 账户充值 200 元,银行卡已经扣款,但余额仍然是 0。我们今天要上线,能否尽快处理?
验收条件category=billingpriority=highneeds_human=truereply_language=zh-CN输出可被 JSON.parse 解析
02

案例 02 · TypeScript 线上 Bug

一个很小但常见的字段名错误,测试模型能否给出最小可运行修复。

Prompt只输出修复后的 TypeScript 函数,不要解释,不要 Markdown。保留函数名和类型定义。 type LineItem = { price: number; qty: number }; export function subtotal(items: LineItem[]): number { return items.reduce((sum, item) => sum + item.price * item.quantity, 0); }
验收条件使用 item.qty删除 item.quantity保留 subtotal 函数名输出可直接通过类型检查
03

案例 03 · 订单统计 SQL

一个产品后台常用的付费订单统计,测试过滤、聚合、分组和排序是否完整。

Prompt只输出一条 SQLite SQL,不要解释,不要 Markdown。统计过去 30 天内 status 为 paid 的订单,按 user_id 汇总 amount,结果列必须叫 user_id 和 total_amount,并按 total_amount 从高到低排序。 表结构:orders(id INTEGER, user_id INTEGER, status TEXT, amount REAL, created_at TEXT)
验收条件SUM(amount) 汇总金额过滤 status='paid'按 user_id 分组按 total_amount 降序只保留过去 30 天

案例 01 · 客服工单分流

结果来自 2026-10-01 UTC 的单次流式请求,max_tokens=512。首字延迟、总耗时和 Token 是请求记录;成本按当时模型目录价格与实际用量核算。

模型验收输出摘要首字总耗时输入 / 输出 Token用量成本
DeepSeek V4 Pro通过4/4 字段通过JSON 有效;billing / high / true / zh-CN11.79s12.92s118 / 134¥0.004680
GLM-5.2通过4/4 字段通过JSON 有效;billing / high / true / zh-CN8.24s8.75s99 / 64¥0.001938
Qwen3.7 Max通过4/4 字段通过JSON 有效;billing / high / true / zh-CN9.37s10.22s106 / 627¥0.019075
Kimi K3通过4/4 字段通过JSON 有效;billing / high / true / zh-CN17.12s17.79s174 / 209¥0.014628

案例 02 · TypeScript 线上 Bug

结果来自 2026-10-01 UTC 的单次流式请求,max_tokens=512。首字延迟、总耗时和 Token 是请求记录;成本按当时模型目录价格与实际用量核算。

模型验收输出摘要首字总耗时输入 / 输出 Token用量成本
DeepSeek V4 Pro通过3/3 检查通过将 item.quantity 修正为 item.qty5.14s6.40s93 / 98¥0.003483
GLM-5.2通过3/3 检查通过将 item.quantity 修正为 item.qty5.64s6.03s69 / 54¥0.001548
Qwen3.7 Max通过3/3 检查通过将 item.quantity 修正为 item.qty3.01s3.73s80 / 126¥0.004397
Kimi K3通过3/3 检查通过将 item.quantity 修正为 item.qty16.01s16.01s153 / 179¥0.012576

案例 03 · 订单统计 SQL

结果来自 2026-10-01 UTC 的单次流式请求,max_tokens=512。首字延迟、总耗时和 Token 是请求记录;成本按当时模型目录价格与实际用量核算。

模型验收输出摘要首字总耗时输入 / 输出 Token用量成本
DeepSeek V4 Pro通过5/5 检查通过完整 SQLite 查询,含 30 天过滤9.91s10.92s98 / 42¥0.002016
GLM-5.2通过5/5 检查通过完整 SQLite 查询,含 30 天过滤19.73s25.99s77 / 46¥0.001428
Qwen3.7 Max通过5/5 检查通过完整 SQLite 查询,含 30 天过滤9.84s10.46s85 / 752¥0.022474
Kimi K3需复测未完成输出为空;256 Token 上限耗尽,需提高上限复测—52.78s159 / 256¥0.017268

结果怎么看

结果来自 2026-10-01 UTC 的单次流式请求,max_tokens=512。首字延迟、总耗时和 Token 是请求记录;成本按当时模型目录价格与实际用量核算。

字段含义判断方式页面展示
通过所有验收条件满足自动检查 + 人工抽查绿色 Passed
未完成输出被上限截断或为空不判定模型能力失败标记需复测
成本输入 Token + 输出 Token按目录价格核算¥ CNY
延迟首字与完整响应时间单次请求观察值TTFT / Total

不同版本、参数和测试集会影响结果。页面只发布已经运行并能复现的结论,不把未实测的内容写成排名。

04 / METHOD

我们如何做实测

固定 Prompt、temperature、最大输出 Token 和请求协议,只替换模型 ID。

同时记录首字延迟、完整响应耗时、输入/输出 Token、请求 ID,并按请求发生时的目录价格核算人民币成本。

定性评分与原始输出分开保存,避免只用单个分数替代完整结果。

页面标注测试日期和模型版本;上游更新后重新运行,不把旧结果当成永久结论。

05 / FAQ

常见问题

哪个模型最适合编程?

不要只看模型名称。使用同一组代码修复案例,结合通过率、延迟和成本选择。

这些模型可以用同一个 API 调用吗?

KimiSeek 提供 OpenAI、Anthropic Messages、Responses 与 Gemini 兼容接口,可通过 model 参数切换已启用模型。

对比中的价格如何计算?

按实际输入、缓存输入和输出 Token 以及请求发生时的人民币售价结算。

KIMISEEK

用同一套代码,自己验证模型差异

先复制测试案例,再根据你的真实输入、延迟要求和预算选择模型。

开始
测试
国产大模型对比:Kimi、DeepSeek、GLM、Qwen 怎么选? | KimiSeek