AI产品经理如何进行提示词评测并构建评测集

提示词改到第几版才算好？自己测几轮觉得不错，放进 agent 第二天就答非所问。评测集就是一套标准答案题库，题目、参考答案、评分标准三样齐了，换模型、改提示词、定位失败案例才有可比的分。

大家有没有过这种经历？

写了一个提示词，自己测试了几次感觉效果不错，信心满满放到 agent 里。结果第二天就发现：答非所问、语气不对。

你赶紧回去改提示词，改完再测，好像好了一点。但到底好了多少？是真的好了，还是只是你这次运气好？

说不清楚。

这就是很多 AI 产品经理的日常：每天都在改提示词，但从来不知道改得好不好。

真正的 AI 产品经理，核心能力不是写提示词，而是评提示词。而评测的根基，就是一个靠谱的评测集。

最近刚好在我指导的某企业的一个 AI 项目正式上线，我来给大家总结下我是如何进行提示词管理。

为什么提示词评测才是真本事？

先说一个很多人不愿意承认的事实：写提示词，真的不难。

现在网上到处都是提示词模板，我们只要放到大模型里，立马就有一个像模像样的提示词出来。

但问题来了：你怎么知道这个提示词好不好？是豆包生成的好？还是元宝生成的好？

这就像你开一家餐厅，炒了几个菜自己尝了尝，觉得味道不错，就开门营业了。至于客人喜不喜欢、能不能持续稳定地出好菜，你完全没数。

所以，提示词评测不是锦上添花，是 AI 产品的基础设施。

没有它，你做的所有优化都是玄学：

• 改了提示词，效果提升了还是下降了？不知道。
• 换了模型，哪个模型效果更好？不知道。
• 用户反馈变差了，是提示词的问题还是模型的问题？不知道。

而有了评测集，一切就变了：

• 每次改完提示词，跑一遍评测集，分数涨了还是跌了，一目了然。
• 想换模型？跑一遍同一个评测集，直接对比。
• 出问题了？把失败案例捞出来，精准定位是哪类问题。

一句话总结：没有评测集，你不是在做产品，你是在赌运气。

评测集到底是什么？用大白话讲清楚

很多人一听到“评测集”“benchmark”这种词，就觉得高深莫测。

其实没那么复杂。

评测集，就是一套“标准答案题库”。

就像你上学时做的模拟考试题：每道题有题目，有标准答案，还有评分标准。你答完题，对照标准答案打分，就知道你学得怎么样。

提示词评测集也是一样的道理：

• 题目：就是用户可能会问的问题。
• 标准答案：就是理想情况下，AI 应该给出什么样的回答。
• 评分标准：就是怎么判断 AI 答得好不好。

你把你的提示词跑在这套题库上，给每道题的回答打分，最后算一个总分。这个分数，就是你提示词的“体检报告”。

听起来很简单对吧？

但真正做起来，很多人第一步就错了。

最常见的错误是：评测集里的题目，是你自己编的。

你坐在工位上，拍脑袋想：用户可能会问这个问题、那个问题……然后写了 100 道题。

但真实用户问的问题，和你想象的完全不一样。

你以为用户会问“请帮我总结一下这篇文章的核心观点”，结果用户实际问的是“这篇文章讲了个啥，说人话”。

你以为用户会问“请用专业术语分析这个问题”，结果用户实际问的是“我该怎么办，很急”。

如果你的评测集不能反映真实用户的问题分布，那评测得再精确，也没有意义。

从零构建评测集的四步 SOP

说了这么多，到底怎么建一个靠谱的评测集？这里我的经验是按 4 步进行构建。

第一步：收集真实用户问题，别自己编

评测集的质量，一半取决于题目质量。而最好的题目，不是你想出来的，是真实用户问出来的。

怎么收集？

• 如果你已经有产品上线了：直接从真实对话日志里捞，按问题出现频率排序。
• 如果产品还没上线：找你的目标用户聊，观察他们怎么用语言描述问题。
• 如果实在没有用户数据：去竞品的评论区、社群、知乎、小红书，看真实用户在问什么。

这里有一个关键原则：题目要覆盖真实的问题分布。

如果 80% 的用户都问“怎么退款”，那你的评测集里，“怎么退款”这类题也要占 80% 左右。不能你觉得“怎么退款”太简单，就只放 10 道题，然后花大力气写 20 道“如何制定公司退款策略”的看似输出字很多的难题。

第二步：给每道题写“标准答案”

有了题目，下一步就是写标准答案。

这一步最容易走极端。

一种极端是：标准答案写得太完美、太理想。比如用户问“这篇文章讲了个啥”，你写的标准答案是“本文从三个维度系统阐述了……”。这就不对，因为用户要的根本不是这种回答。

另一种极端是：标准答案写得太随意。比如“差不多就行”“意思对就可以”。那你打分的时候就没有依据，全凭感觉。

好的标准答案，应该满足三个条件：

1. 符合用户预期：用户看到这个回答，会觉得“对，就是我要的”。
2. 具体可判断：不是“回答得很好”，而是“必须包含这三个要点”。
3. 有边界：说清楚什么是对的，什么是不对的。

举个例子。用户问：“我怎么退款？”

差的标准答案：“告诉用户退款流程。”

好的标准答案：“1. 说明退款入口在哪里；2. 说明退款到账时间；3. 如果有特殊情况怎么办。”

这样你打分的时候，就有明确的依据了。

第三步：定义打分规则

有了题目和标准答案，还需要一个打分规则。

最粗暴的方式是：对/不对，二选一。

这种方式简单，但太粗糙。AI 的回答往往不是全对或全错，而是“对了一半”“方向对了但细节错了”。

更好的方式是分级打分，比如 1-5 分：

• 5 分：完全符合标准答案，没有任何问题。
• 4 分：符合核心要求，有小瑕疵但不影响使用。
• 3 分：方向对了，但缺了关键信息。
• 2 分：答非所问，或者有明显错误。
• 1 分：完全错误，或者胡编乱造。

打分规则一定要提前定好，不能边打边想。否则你今天觉得 3 分可以，明天觉得 2 分就够了，分数就没有可比性。

第四步：持续迭代，不是一劳永逸

评测集建好之后，不是放那儿就不管了。

它是活的，要持续更新。

为什么？因为用户的问题在变，模型在变，产品的能力边界也在变。

你三个月前建的评测集，可能已经覆盖不了现在的真实问题了。

所以，每隔一段时间（比如一个月），你要做两件事：

• 把新出现的、高频的、之前没覆盖的问题，加进评测集。
• 把那些再也没人问的、过时的问题，从评测集里删掉。

大家一定评测集的目标，永远是尽可能真实地反映当前的用户使用情况。

我指导项目遇到的实战新手坑

最后结合我最近指导的一个项目遇到的几个新手最容易踩的坑分享给大家。

坑一：评测集太小，样本不够

在我们这次项目上线的时候大家建评测集，总计就写了二三十道题。

这就像你考试只复习了两道题，然后去参加高考。运气好碰上了，分数就高；运气不好，一道都没考到，分数就低。

评测集太小，分数波动会很大。你改了一个提示词，分数涨了 5%，到底是真的好了，还是只是这几道题刚好对上了？说不清楚。

一般来说，一个基础的评测集，至少要有 100-200 道题，覆盖你的核心场景。如果你的产品比较复杂，问题类型很多，那可能需要 500 道以上。

坑二：标准答案太理想，不接地气

刚才提过这个问题，这里再强调一下。

很多人写标准答案的时候，不自觉地就往“完美回答”上靠。什么专业、全面、逻辑清晰……

但真实用户要的，往往不是完美回答，而是能用的回答。

比如用户问“我怎么退款”，他要的不是一篇关于退款政策的深度分析，他要的就是“点这里，三步搞定”。

如果你的标准答案太理想，你就会陷入一种奇怪的状态：AI 的回答越来越“专业”，但用户越来越不满意。

因为你评测的标准，和真实用户的需求，脱节了。

坑三：只看总分，不看失败案例

很多人跑完评测，就看一个总分：85 分，不错。

然后就没有然后了。

但总分 85 分，意味着有 15% 的题答错了。这些答错的题，是哪种类型的问题？是格式错了？还是内容错了？还是完全答非所问？

这些信息，比分本身重要得多。

评测的价值，不是给你一个分数，而是告诉你哪里出了问题。

所以，每次跑完评测，一定要做两件事：

• 把所有失败的案例捞出来，分类统计。
• 看哪类问题错得最多，优先优化那类。

如果你只看总分，不看失败案例，那评测就白做了。

最后，如果你现在还没有评测集，今天就可以动手建一个。

不用追求完美，先从最核心的 100 道题开始。

先跑起来，再慢慢迭代。

毕竟，有一个不完美的评测集，远好过没有评测集。

本文由人人都是产品经理作者【三爷茶馆】，微信公众号：【三爷AI茶馆】，原创/授权 发布于人人都是产品经理，未经许可，禁止转载。

题图来自 Unsplash，基于 CC0 协议