热点事件持续更新
南大TestPrism基准:AI测试可靠性被评测标准高估一倍
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
2026年11月12日,36氪报道,南京大学刘佳恒团队提出面向测试生成的基准TestPrism,用于评估AI编写测试的可靠性。该基准从17个公开Benchmark中收集任务,测试集包含300个任务和3000个带标签的候选实现。其核心指标JSF要求生成的测试须在原始代码上失败、接受所有正确实现,并拒绝所有错误实现。报道称,按该基准衡量,AI编写测试的可靠性被现有评测标准高估一倍,即事件此前所指的测试合格率被单一参考评测明显高估的问题。目前该研究以完整基准的形式公开了任务来源、测试集规模与判定标准。
AI 根据报道生成 · 7 小时前更新
最新进展11月12日 16:11
南大团队提出TestPrism基准,称AI写测试可靠性被评测标准高估一倍。报道时间线
沿着报道,了解事件的不同侧面。
11月12日
- 36氪·AI南京大学团队提出TestPrism基准,AI写测试可靠性被评测标准高估一倍
南京大学刘佳恒团队提出测试生成基准TestPrism,从17个公开Benchmark收集任务,测试集含300个任务和3000个带标签候选实现,核心指标JSF要求测试在原始代码上失败、接受所有正确实现并拒绝所有错误实现。
本事件热度走势
当前热度 8·可比范围峰值 10(11月12日 18:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。