OpenRouter 发布指南,讲解提示词或模型变更后如何对 AI 智能体做回归测试
OpenRouter 发布教程,讲解提示词、模型、工具定义或检索设置变更后如何对 AI 智能体做回归测试。核心做法是锁定用例集加书面行为契约,用工具调用结构断言替代文本对比,文中示例把超 $500 退款须转人工设为无阈值的发布阻断项,并建议用具体模型 slug 而非 ~latest 别名。
智能体回归测试的实质是给行为立书面契约,别名路由让模型可以在仓库不动的情况下被换掉,结构断言比文本对比更站得住。
- 影响提示词改一句、检索分块调整或换模型都可能让行为漂移而回复依然流畅,靠人读对话记录很难察觉;模型切换存在十倍级输入价差,能否落地取决于有没有可复现的用例证据;评测调用真实模型产生费用,需要独立任务和预算。
- 参考可考虑为客服或审批类智能体先写一小组锁定用例,把超限额退款必须转人工这类红线设为发布阻断项;值得把评测任务绑定到提示词与检索文件路径触发,并用 ori eval --pilot 先测算全量成本再决定是否常态化。