OpenRouter 发布 LLM-as-a-Judge 教程,用裁判模型自动给智能体输出打分
OpenRouter 发布 LLM-as-a-Judge 教程,讲解用一个独立裁判模型按人工编写的标准给智能体最终回答自动打分。配套的 Ori Eval 工具以 TypeScript 编写评测文件并用 Bun 运行,教程示例把通过线 minScore 设为 0.8 分。
智能体评测从工具调用断言延伸到最终回答的语义质量,语义质检可以进入自动化回归和 CI 流程。
- 影响客服等开放回答场景可把语义质检交给评分模型,减少人工逐条审阅;每次评测会新增模型调用,成本随用例数、候选模型和评分维度增长;裁判分数未经人工标注校准前不应作为发布依据。
- 参考可考虑从一例真实客服失败案例入手,写一条他人也能执行的标准,先在小规模人工标注集上校准裁判;值得把确定性检查留在每次提交,LLM 评测放到定时任务或发版前以控制调用成本。