鹈鹕测试 / PELICAN BENCHMARK

鹈鹕测试

让模型画一只骑车的鹈鹕，然后自己 debug。同一个 HTML 任务、同一套验收标准：agent 会写代码、做静态检查、在浏览器里运行诊断、根据失败项重写；作品进入公开榜，由登录用户按 0–5 星评分。

开始测试模型星级榜

1 个文件: 单文件 HTML，内联全部资源
3 种协议: OpenAI / Anthropic / Gemini 兼容端点
登录评分: 每个用户每个模型一票

01 / WORKSPACE

跑一次鹈鹕测试

兼容 OpenAI Chat Completions、Anthropic Messages 或原生 Gemini generateContent 协议。配置只保存在当前标签页。

CONFIG / PROVIDER

连接你的模型

兼容 OpenAI Chat Completions、Anthropic Messages 或原生 Gemini generateContent 协议。配置只保存在当前标签页。

协议

Base URL

OpenAI 兼容：带不带 /v1 都可以，例如 https://api.openai.com 或 https://api.openai.com/v1；不带时自动补 /v1。

API Key

仅随本次请求转发给上游，不写入数据库，也不会出现在公开榜单里。

模型 ID

使用上游实际接收的模型名，例如 deepseek-v4-pro-0813。

自动修复轮数

第一次生成后，agent 会按诊断结果自动重写。轮数越多越慢，费用也越高。

思考模式

开启后先做一次带思考预算的规划调用（模型支持时最多 2048 tokens），再关闭思考生成完整页面；不支持思考预算的模型（如 DeepSeek V4）会跳过规划直接生成。

API Key 只保留在浏览器内存中，服务端仅做一次性代理转发。不要在公共电脑上使用生产密钥。

RUN / AGENT

Agent 工作区

等待第一次运行

填好左侧配置并点击“开始测试”。生成、检查、调试的每一步都会实时显示在这里。

02 / RUBRIC

星级与榜单规则

自动检查只用于驱动 agent 修复，不再计分；公开榜单完全由登录用户的星级评分决定。

规则	说明	目的
登录后评分	匿名用户只能浏览榜单	避免刷分
每人每模型一票	同一账号对同一模型只能提交一次评分	保证样本独立
0–5 星	0 星表示完全不可用，5 星表示一次到位	允许表达明确负评
平均分排序	按模型全部评分的平均值从高到低，平均分相同看评分人数	评分越多越可信
思考强度未归一	不同厂商使用 enable_thinking、reasoning_effort、thinking.budget_tokens 等不同机制；卡片标注 off / low / plan / provider-default	避免把思考预算差异误当作模型能力差异

03 / FAQ

常见问题

为什么用鹈鹕骑车？

这个任务同时考察代码生成、空间构图、角色识别、动画和响应式处理，是 2025 年流传很广的 LLM 视觉编程测试。

榜单怎么排序？

公开榜单按模型的平均星级倒序。只有登录用户可以评分，每个账号对每个模型只能投一次，0–5 星。星级是用户对同一个固定任务的主观评价，不代表模型的综合能力。

自动检查还算分吗？

不算。8 项自动检查只用于驱动 agent 修复和展示验收明细，不再换算成 0–100 分，也不参与榜单排序。

API Key 会被保存吗？

不会。Key 只用于你当前标签页中的请求，经本站接口一次性转发给上游，不写数据库、不写日志，也不会出现在榜单里。

为什么要在浏览器里调试？

静态检查看不出动画是否真的运行、是否有脚本报错。agent 会把 HTML 放进沙箱 iframe，注入探针测量动画和溢出，再把问题反馈给模型重写。

可以测任意模型吗？

只要是 OpenAI Chat Completions、Anthropic Messages 或原生 Gemini generateContent 端点即可。模型 ID 以你的上游实际接受的为准。

KIMISEEK

用同一个任务，看看你的模型排在哪。

运行测试不需要登录；作品上传后，登录用户可以用 0–5 星为模型投票。

立即
开始

本页仅用于技术评测。请使用你自己的 API Key，并遵守对应服务商的使用条款。