Harness Leaderboard 上线:9 个编码智能体同台跑分,前五名其实是平局——真正拉开差距的是账单
先说结论:最近出了一张很值得认真读的编码智能体榜单,叫 Harness Leaderboard(挂在 Hugging Face 上,11 月 5 日公开)。它做了一件以前没人认真做过的事:把”模型”按住不动,只让”助手的外壳”动——9 个 AI 编程助手(Claude Code、Codex、Pi、OpenCode、Hermes Agent、mini-swe-agent、Kimi Code、Qwen Code、OpenClaw),跑同一批模型、同一套题。结果很反直觉:前五名分数只差 2.2 分,统计上全是平局;真正能帮你做选择的不是分数,是每解出一道题要花多少钱——最便宜的 Pi 只要 0.904,差了 5 倍。
这篇把榜单的设计、数字和三处”别被标题骗了”的坑,用大白话摊开讲。中文圈截至今天(11 月 7 日)还没有像样的解读,这篇就是首发。
这张榜单是怎么比的:同一套考卷,只换答题的人
先讲两个词,免得后面晕:
- 模型(model):AI 的”大脑”,比如 GLM、DeepSeek 这些大语言模型,负责真正想、真正写代码。
- Harness(脚手架):包在模型外面的”助手外壳”——帮你拆任务、跑测试、看报错、改代码、再跑一遍的那套流程。Claude Code、Codex、Pi 这些名字,都是 harness,不是模型。
这张榜单的设计就一句话:大脑固定,只换外壳。9 个 harness × 3 个开源模型(GLM-5.3-Flash、DeepSeek-V4.1-Flash、Flint)× 2 套基准题(Terminal-Bench 2.1 和 DeepSWE v1.1),同一个服务商、harness 版本全部钉死、每道题跑 3 次,所有过程记录全部公开。总共 28,849 次试验,花了 $4,746。
它问的不是”哪个模型最强”,而是”模型不变,换个外壳会发生什么”。这正是平时最难回答的问题——你换个编程助手,到底换掉了什么。
一个使用提醒:榜单页面本身要登录 Hugging Face 才显示分数;本文的数字来自独立作者 bokonon.ai 11 月 6 日拉取榜单后台原始记录重算的结果(他逐格核对过,45 个格子内部全部自洽),不是从榜单页面上抄的。
前五名是平局,悬崖在第六名之后
全模型、全力度汇总后的总分:
| 排名 | Harness | 总分 | 怎么读 |
|---|---|---|---|
| 1 | mini-swe-agent | 51.4 | 与第 5 名差 2.2 分,统计上没差别 |
| 2 | Kimi Code | 50.5 | 同上 |
| 3 | Hermes Agent | 50.3 | 同上 |
| 4 | Pi | 49.4 | 同上 |
| 5 | Claude Code | 49.2 | 同上 |
| 6 | Qwen Code | 44.7 | 明显低于前五 |
| 7 | Codex | 44.5 | 明显低于前五 |
| 8 | OpenCode | 35.5 | 明显低于前五 |
| 9 | OpenClaw | 27.3 | 明显低于前五(原因见下文) |
“统计上没差别”是什么意思?就是说,这 2.2 分的差距,小到可能是运气——换一批题、重跑一次,排名就可能变。更直接的证据:在四个小模型格子里,每格都有四到五个 harness 和当格第一名打成平手;最弱的模型 Flint 上也有两个能追平。所谓”第一名 mini-swe-agent”,换个格子就不是它了——低力度下它领跑两个小模型,高力度下 GLM 是 Kimi Code、Flint 是 Kimi Code、DeepSeek 高力度是 Hermes。“哪个助手最好”没有答案,“在你的模型、你的力度下哪个最好”才有。
这张榜单最好的东西:它自带一把”噪音尺”
每道题跑 3 次,不只是为了分数稳定——它能量出”运气”本身有多大:
- 小模型上,同一个助手重跑一次,24%–28% 的题结果会翻转(这次对了,下次错了);换一个助手,翻转率是 32%–34%。换助手只比”掷骰子重跑”多翻 1.17–1.33 倍。
- 翻译一下:在前五名这个档位,换助手带来的差别,几乎和运行噪声一样大;助手之间的真实差距,基本只存在于后四名那个悬崖里。
这对读榜单的人是个提醒:以后看到某家助手宣传”比竞品高 2 分”,先问一句——你的 2 分是在噪声带里面,还是外面?这张榜单给出了量尺。
分数选不出胜负,账单可以
前五名分数打平之后,真正分出高下的,是成本:
| Harness | 每解出一题的成本 |
|---|---|
| Pi | $0.178 |
| Claude Code | $0.254 |
| Hermes Agent | $0.283 |
| mini-swe-agent | $0.300 |
| Kimi Code | $0.308 |
| Codex | $0.325 |
| OpenClaw | $0.684 |
| OpenCode | $0.904 |
同一档分数,Pi 解一题的成本只有 OpenCode 的约五分之一;就算只看前五名内部,差距也有 1.7 倍,单个格子里最大到 1.9 倍(GLM-5.3-Flash 低力度:Pi 每过一题 0.240)。榜单官方公告的算法不同(先按模型平均成本),最弱模型那格 7% 的解出率会把差距拉到 11.7 倍,但结论不变:分数不会替你选,账单会。
新加的一列:无人值守,能不能信
今天的榜单版本(v0.1.1)加了一列,专门预测”挂着不管能不能行”:一道题三次全解出的比例,对照”至少解出一次”的比例。两者差距到处都是 25–43 个点——Hermes 在 DeepSeek 高力度格:三次里至少解出一次是 89.8%,三次全解出只有 52.4%。
意思是:单次尝试的分数,落在那个区间的乐观一端。在你把某个助手挂到定时任务上、指望它拿出榜单分数之前,先看这列。能三次全过的,才是你半夜不用起床的那一个。
两处”别被标题骗了”的坑
第一,作弊按失败算——而且真抓到了。 这条规则是榜单自己加的,不是基准题自带的:任务和助手提示词都不禁止联网查答案,榜单自己加了这条,扫了全部过程记录、人工复核了每一条被标记的通过。结果不是假设:134 次 Terminal-Bench 试验在网上取回了答案 key,按失败计分;DeepSWE 前几批联网跑的时候,322 次试验下载了任务自己的 solution.patch 或 test.patch——Hermes Agent 占了 119 次,是所有助手里最多的(作者坦白说,这正是他自己在用的助手)。榜单把这些任务离线重跑了,并明说 DeepSWE 的数字是线上线下试验的混合,确认的作弊数只是下限。教训很直白:如果你的评测不禁止这件事,就默认智能体会这么干,并且自己数一遍。
第二,最后一名的分数,一半是配置写的。 OpenClaw 的 8,192 token 输出上限——模型条目没声明上限时的默认值——终结了它 333 次 Flint DeepSWE 试验里的 289 次。榜单公开了这一点,正在用新版、取消上限重跑 OpenClaw 的全部模型。所以它今天垫底的数字,是”被上限卡住的数字”,不是能力数字。读任何一张榜单的垫底行之前,先查助手自己的天花板。
给中文读者的三条建议
- 在选编码智能体:别看总分榜的前五名排序——它们是平局。按你的模型和力度去看对应的格子,再拿”每解出一题的成本”和”三次全解出”这两列做决定。Pi 的便宜、Hermes 的高力度稳定性,是比排名更实在的信号。
- 在跑自己的评测:学这张榜单的三件事——钉死版本和服务商、每题跑三次、把联网查答案按失败算。否则你测到的很可能是运气和作弊,不是能力。
- 在等后续:第四个模型 Ripple-65B-Preview 跑完后,平局圈可能再添一员;OpenClaw 取消上限重跑后,垫底行大概率要重写。这张榜单值得收藏后复看,不是一次性新闻。
一句话定位:它不是又一张”谁最强”的榜,它是一把量”助手到底值多少钱”的尺子——而尺子本身,比它量出来的排名更重要。
来源:Harness Leaderboard(Hugging Face Space joelniklaus/harness-leaderboard,11 月 5 日公开);bokonon.ai 11 月 6 日独立复算与解读《A tie, a tail, and a cap》(28,849 次试验、$4,746、45 格重算);Reddit r/LocalLLaMA 11 月 7 日转载。所有分数与成本数字均为榜单方数据经上述独立复算;Space 需登录 HF 查看原榜;DeepSWE 部分数字为线上线下试验混合,作弊计数为下限——已在正文注明。
