DeepSeek、Kimi K3.1、Opus 5.5、GPT-6 五组编码智能体同题实测,Token 消耗相差13倍
DeepSeek、Kimi K3.1、Opus 5.5、GPT-6 同台竞技,Token 消耗差了 13 倍
- 1五组编码智能体与模型组合用同一道纯代码生成视频题同台实测,Token 总处理量相差约13倍,从350万到4644万
- 2最快 Codex 组合8分钟完成,最慢 DSH 组合46分钟,五组各只有一次机会且全部完成任务
- 3作者评价 Claude Code+Opus 5.5 成片质量最佳居首,Codex 最快但机械执行指令,Gemini 瑕疵较多
- 4DSH 组是唯一用中文提问却交付英文视频的组合,作者称其习惯想太多,并征集题目打算每周组织同类测试
同一道编码任务在不同智能体与模型组合之间的耗时和 Token 消耗可以差出一个数量级,组合选型本身就是成本变量。
- 影响:编码智能体的运行成本不只取决于模型单价,还取决于组合的行为风格,多推理多自查的组合会放大 Token 消耗和等待时间;成片质量与消耗并不正相关,速度和用量最省的组合未必质量最好,团队选型前需要按自身任务实测。
- 参考:可考虑选定一道本团队真实任务,让候选组合各跑一次并记录耗时、Token 总量与成片质量三项数据再定预算;值得把缓存命中率一并统计,本次各组合缓存占比都在96%以上,差异主要来自总消耗。
- 依据:数据来自作者本人一次性实测,五个组合各只有一次机会,耗时与 Token 数字客观可复核,成片质量为其个人主观评价,无独立复测。
同一道题丢给五个组合同台竞技:DSH 配 DeepSeek V4.1 Flash、Kimi Code 配 K3.1 Pro、Codex 配 GPT-6 Astra 等。比的是耗时、完成度和成片质量,最快的 8 分钟,最慢的 46 分钟,还有选手把中文题做成了英文片。

DeepSeek 说:DSH与自家模型是绝配
DeepSeek V4.1 Flash 1017 最佳 Harness 易主,尽快拥抱 DeepSeek Harness!
实不相瞒,我一直想拥抱DSH,但还是没能习惯它
周末闲着没事,找了一道题目,让几个 Harness 和大模型同台竞技,看看他们表现如何,也确认一下哪些任务可以给哪些模型
我都想每周组织一场这个擂台了,大家有题目可以提哈,我抽空来测
本期出场选手包括:
- DSH 标准模式 + DeepSeek V4.1 Flash
- Kimi Code + Kimi K3.1 Pro
- Codex + GPT-6 Astra 极高
- Claude Code + Opus 5.5 Medium
- Gemini + Gemini 3.8 Flash
题目很简单,纯代码生成视频,提示词:
/treardown 做一个抓娃娃机为何总是抓不到东西的拆解视频,录制一段20秒视频
提示词中的 treardown 是一个 Skills ,可以把任何机器变成一个可以拆解的 3D 模拟器,感兴趣的兄弟可以试试
npx skills add elvarofficial/teardown
所有选手都只有一次机会
最终他们都完成了任务,视频效果比较主观
但是它们实际耗时和Token消耗却是板上钉钉的数字:
| 选手 | 耗时 | token 总处理量(缓存占比) | 输出 token |
|---|---|---|---|
| Codex | 8 分钟 | 350 万(97%) | 2.8 万 |
| Claude Code | 17 分钟 | 1215 万(96%) | 13.0 万 |
| Gemini | 21 分钟 | 1394 万(96%) | 8.1 万 |
| Kimi Code | 36 分钟 | 950 万(98%) | 5.9 万 |
| DSH | 46 分钟 | 4644 万(99%) | 28.1 万 |
图片会更明显一些,最高效的是 Codex,最墨迹的是 DSH

还是看下具体效果吧
1、DSH + DeepSeek V4.1 Flash
我选择 DSH 标准模式,整整 46 分钟才完成
符合我的刻板印象,之前测试过多次,同样题目,它总是“想太多”,它还有极简模式,我印象中也是“特能想”
结果如下,暇疵不少,唯一一个中文提问,最终给了英文视频的
2、Kimi Code + Kimi K3.1 Pro
Kimi K3.1 Pro 我前几天测试过,除了价格和速度,很难吐槽了
国产最强开源大模型,Kimi K3.1 Pro 实测 2 天,有惊喜,有吐槽
它的总耗时倒数第二,任务完成的还不错
我感觉可以排在 Opus 5.5 后面了
3、Codex + GPT-6 Astra
这是极速完成任务型选手,8分钟速通,感觉它太不擅长思考了,很喜欢无脑遵守我的指令,甚至舍弃了Skills中的框架
4、Claude Code + Opus 5.5
不可否分的冠军,输出的视频质量极佳,完美解释了我的问题
5、Gemini + Gemini 3.8 Flash
这是本次的搞笑担当,负责活跃氛围,瑕疵太多了
以上,大家感觉这个任务,谁完成的最好?
作者:Ai学习的老章 公众号:Ai学习的老章
本文由 @Ai学习的老章 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自 Unsplash,基于CC0协议
来源:人人都是产品经理 · woshipm.com