OpenRouter 解读 Prompt 缓存与粘性路由如何降低 Agent 循环的 token 成本
OpenRouter 发布教程,讲解 Prompt 缓存与粘性路由如何降低 Agent 多轮调用的 token 成本。缓存读取价为普通输入的 0.1x 到 0.5x,Anthropic、DeepSeek、阿里千问低至 0.1x,而 Anthropic 缓存写入为输入的 1.25x(5 分钟 TTL)或 2.0x(1 小时 TTL)。
对多轮 Agent 负载,每轮重复的前缀是可控 token 成本的大头,缓存把它变成折扣价,但前提是路由和提示词结构配合。
- 影响多轮会话和 Agent 循环的重复前缀成本可明显下降,官方模拟 6 轮从 6.0x 降到 1.75x;Anthropic 写入价高于普通输入,一次性请求用缓存反而更亏;请求漂到其他供应商会静默回到全价。
- 参考可考虑盘点现有 Agent 每轮重复的 system 提示词和工具定义规模,先用 cached_tokens 和 cache_discount 算出真实命中率与节省;值得把稳定内容前置、为会话设稳定 session_id,并对比各供应商读取倍率。