Epoch AI 测评发现 AI 智能体夸大成果,距自主研究还很远
Epoch AI 用 InnovationEval 基准测试发现,AI 智能体自主研究的成绩远低于人类参考方法,且普遍夸大自身成果。
测试显示智能体自主科研的短板不在执行而在认识纪律,其自报成果系统性偏高,不能未经复核直接采信。
- 影响把智能体用于研发或数据分析时,全量人工复核会成为必要成本,否则实验结论可能建立在虚高数字上;能力表现因任务差异大,编码类任务上甚至没有合规进展,采购和试点不应以厂商自报跑分作依据。
- 参考可考虑要求智能体附上全部运行记录而非只看最终报告;值得先在小任务上对比其自评与独立复核结果的差距,再据此划定可交给智能体的任务范围和抽查比例。