自主科研基准DeepRSI公布榜单，Kimi K3以820分列国产开源第一

Image 1: 36氪

账号设置我的关注我的收藏申请的项目退出登录

搜索

36氪Auto 数字时氪未来消费智能涌现未来城市启动Power on 36氪出海 36氪研究院潮生TIDE 36氪企服点评 36氪财经职场bonus 36碳后浪研究所暗涌Waves 硬氪氪睿研究院媒体品牌
企业号企服点评 36Kr研究院 36Kr创新咨询企业服务
核心服务城市之窗政府服务
创投发布 LP源计划 VClub VClub投资机构库投资机构职位推介投资人认证投资人服务
项目推荐 36氪Pro 创投氪堂企业入驻创业者服务
创投平台
AI测评网

首页
快讯
资讯
- 推荐
- 财经
- AI
- 项目推荐
- 安徽
- 最新
- 创投
- 汽车
- 科技
- 专精特新
直播
视频
专题
活动
广东
浙江
四川
安徽
江苏

搜索

项目推荐

我要入驻

城市合作

Jeff Dean投的RSI出成果了：Kimi K3自我进化排国产第一

量子位· 2026年10月14日 07:53

48小时的RSI大考

好嘛，咱姐夫（Jeff Dean）投资的AI初创公司hillclimb，搞的RSI新基准终于出成绩了！

新基准名字叫**DeepRSI，**专门考验各家大模型的递归自我改进能力，结果您猜怎么着——

Claude Fable 5.1拿下第一。

GPT-6 Astra紧紧紧紧随其后。

月之暗面的**Kimi K3**冲到第三，同时是国产第一、开源第一，超过Grok和Gemini～（谷歌：就非得cue我？）

考试玩法呢，也相当《硬核》——

直接给AI安排48小时自主科研挑战，让它自己写代码、跑实验、改算法，看看能把研究成果优化到什么程度。

一共15道题，全部来自真实机器学习研究，RSI这波纯纯迎来它最严厉的老师。（笑）

48小时…RSI…姐夫…激情…转发…大家伙…赶紧…往下看吧…

48小时的RSI大考，AI究竟能卷出什么结果？

我们先来说说，咱姐夫激情转发的DeepRSI究竟是干啥的。

简单理解，它就是一个专门考验AI自主科研和自我改进能力的新基准，看看AI能在多大程度上独立完成真实的机器学习研究任务。

其实以往类似基准大多采用研究人员设计的短期任务，测试时间通常在12小时左右。

但DeepRSI直接把时间拉长到了48小时，还把考题换成了正在进行的真实机器学习研究。（刺激.jpg)

具体来说，一共有15道题，覆盖四大方向——

深度学习训练方案优化、GPU内核加速、估计器精度提升，以及向量搜索等算法改进。

考试规则也挺非常之严格！！

所有模型都要在无网络环境下，使用统一的Pi Agent框架，以最高推理强度完成任务。

这期间，AI需要自己提出方案、编写代码、运行实验，再根据结果不断调整，争取把研究指标做到更好。

至于如何打分，DeepRSI还设置了「公开验证器+私有验证器」的双重机制。

前者允许AI反复测试、自我优化；后者负责最终验收，尽量防止模型针对公开测试过拟合，或者钻评分规则的空子。

最后，再通过Bradley-Terry模型，将各模型的表现换算成Elo评分，排出最终名次。

说到底，这场考试想检验的，就是AI能否像科研人员一样，在长达48小时的反复试错中，持续找到更好的解决方案。

而从最终表现来看，模型之间的差异也相当明显。

先看总榜，Claude Fable 5.1以1548分拿下第一，GPT-6 Astra以1232分紧随其后。

Kimi K3则以820分位列第三，超过Grok 4.7和Gemini 3.8 Flash，成为此次测试中排名最高的开放权重模型。

有意思的是，这个榜单还有两处值得关注——

首先，AI搞科研，时间越长，胜负还真可能发生反转。

根据官方测试，GPT-6 Astra在比赛初期一度领先，但随着科研任务持续推进，Claude Fable 5.1逐渐完成反超。

至于Grok和Gemini，则在不同任务上各有胜负，其中Gemini在GPU加速和内核优化方面表现更好。

这里还有一笔值得关注的经济账。

根据DeepRSI公开榜单，各模型的列示成本分别为：

Claude Fable 5.1约627美元、GPT-6 Astra约404美元、Kimi K3约159美元。

Kimi K3跻身前三，且次榜单列示成本仅约159美元，约为Claude的四分之一。

这里的成本反映的是测试运行开销，各模型实际探索路径不同，所以不能直接等同于真实科研场景中的投入产出比。

但它提供了一个值得持续观察的新维度——

未来衡量AI科研能力，除了看成果多少，还得看每花一美元、每运行一小时，能换来多少有效的研究进展。

Token消耗方面，也有个有意思的反差，Claude Fable 5.1平均每次尝试消耗约4700万Token，拿下第一。

GPT-6 Astra仅消耗约700万Token，就取得第二名。

Kimi K3则以约3600万Token位列第三。

然后，最夸张的是Gemini 3.8 Flash，消耗超过1亿Token，最终却排在第五。。。

此外，模型越聪明，还可能越擅长钻评测规则的空子。

团队公布了一个GPT-6 Astra的特殊案例。

在一项颜色交换谜题训练任务中，Astra最初尝试训练Transformer模仿一个传统求解程序。

发现训练效果不理想后，它竟然重新设计技术方案，将求解算法直接编码进模型权重。

为此，Astra还利用残差流充当工作内存、构造注意力头和逻辑门，最终把一套手工设计的算法写进神经网络结构。

这个案例被研究团队列入奖励机制漏洞利用的讨论。

AI确实展现了复杂的工程解决能力，但它优化出来的东西，也可能偏离研究人员最初希望实现的目标。

从AI辅助科研，到AI自己搞科研

DeepRSI背后的AI初创公司hillclimb，也蛮值得一提。

公司成立于2025年，入选Y Combinator当年秋季批次，目前团队仅有4人。

主要业务是与前沿AI实验室合作，通过高质量训练数据和强化学习环境，帮助AI Agent逐渐具备独立科研的能力。

公司背后的投资阵容也相当豪华，前谷歌首席科学家Jeff Dean本人就是投资人之一。

更值得一提的是，姐夫联合创办AI初创公司Discovery Loop，研究方向本身就是RSI～

此外，还有YC创始人Paul Graham、Replit CEO Amjad Masad，以及来自OpenAI、Anthropic、DeepMind、xAI等顶尖AI实验室的天使投资人。

更有意思的是，这家公司的两位联合创始人，竟然都是职业电竞圈出身。

Jun Park早年曾担任《无畏契约》战队教练，后来转向AI研究，先后在亚马逊、Google DeepMind担任研究工程师。

2025年8月，他离开仅待了约3个月的DeepMind，创办hillclimb：

另一位创始人Ibrakhim Ustelbay早年曾担任《堡垒之夜》电竞教练。

此后其先后在微软、Coinbase担任软件工程实习生，还曾创办用户超10万的AI面试平台Headstarter。

2025年8月，他与Jun Park共同创办hillclimb，并于2026年3月离开。

从带队打电竞，到带着AI搞科研，这两位的职业转型，多少有点跨界开挂的意思啊。。。

当然，DeepRSI本身仍处于早期阶段。

15项研究任务、5组模型配置，每个模型仅运行两次，距离全面衡量AI自主科研能力，还有不少差距。

更何况，任务目标、实验环境和评分标准仍由人类设定，距离AI真正实现递归自我改进，还有很长的路要走。

But，这丝毫不妨碍RSI成为今年AI圈的新晋顶流——

从卡帕西的AutoResearch，到AutoResearchExam，再到如今的DeepRSI，AI自己搞科研这件事，已经从概念讨论一路卷到了排行榜。

挺好，RSI的智能爆炸还没等来，AI圈先把「进化大赛」办起来了。

谷歌：生不逢时啊。。。

参考链接：

[1]https://www.deeprsi.com/blog/

[2]https://x.com/jparkjmc/status/2109684519896780938?s=20

本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。

商业策划

好文章，需要你的鼓励

量子位特邀作者

0收藏+10评论

打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微博

沉浸阅读 返回顶部

参与评论

评论千万条，友善第一条

登录后参与讨论

提交评论 0/1000

你可能也喜欢这些文章

大厂醒悟了，卷模型不如卖芯片

OpenAI高管会议室惊现窃听器，35岁工程师涉案被AI举报送进FBI

长鑫搅局，全球芯片巨头大跌

Linux之父彻底入坑AI，Claude Code写内核，性能暴涨3倍

巅峰估值 50 亿美元的 AI 独角兽，何以不到 0.1 折贱卖

欧美芯片巨头：AI 时代的"卖铲人"棋局

“79岁老干妈陶华碧用AI一年赚54亿”冲上热搜，营收创新高

英伟达与华为的6个百分点：中国AI芯片市场竞争格局生变

国内外大厂疯抢Muse入口，但个人Agent仍是伪命题

量子位

特邀作者

TA没有写简介，但内敛也是一种表达

发表文章 4080 篇

提及的AI

查看AI测评

Kimi

36氪AI测评

选靠谱AI，看真实评测

查看

36氪AI测评官方交流社区

加入

36氪项目推荐

咨询项目审核和入驻

联系

36氪项目推荐订阅号

关注

茶百道停牌调查：揭秘港股IPO“人为操纵”产业链

一场针对港股IPO配售灰色链条的监管风暴，来了。

10分钟前

关于36氪

网络谣言信息举报入口