OpenRouter 实测 TypeSafe 决策模型 Jev 对比 LLM 评审,闭式标准准确率打平、成本差 5 倍
OpenRouter 于 2026-09-21 用 HaluEval 和 SummEval 两个公开数据集实测 TypeSafe 决策模型 Jev(typesafe/jev-1.13)与以 openai/gpt-5.6-luna 运行的 LLM 评审,整个实验花费 $0.041。
AI 输出评审正从统一靠大模型打分转向按标准类型分层选型,闭式核查可交给更便宜更快的专用决策模型。
- 影响闭式评审若改用决策模型,成本约为 1/5、延迟约为 1/10,放进生产请求路径当门禁变得可行;开放式和需要解释的评审仍要生成式模型,生产管线会是多种评审方式的组合。
- 参考可考虑给 50 到 100 条生产样本打标,让两类评审各跑一遍并记录概率、延迟与成本,建可靠性表后再定阈值;值得先把现有评审标准分成闭式与开放两类,闭式的先试决策模型。