OpenAI、Google、Microsoft、Anthropic 支持统一的 AI 抓取退出标准
OpenAI、Google、Microsoft 和 Anthropic 宣布将采用统一标准,网站可在 robots.txt 文件中一处声明即可向多家 AI 公司表达拒绝训练抓取的偏好。
AI 抓取治理正从逐家沟通转向统一协议,四大厂商共同背书让网站表达训练偏好的成本显著下降。
- 影响内容方一次 robots.txt 配置即可覆盖多家 AI 公司,数据授权管理成本随之下降;依赖公开网页做训练或 grounding 的团队要为更多站点退出做准备;搜索收录不受该信号影响,Bing 流量逻辑保持不变。
- 参考可考虑盘点自有站点的 robots.txt 与现有抓取协议,评估是否启用统一退出信号;内容授权方值得把 RSL 收费、Cloudflare 默认拦截与该标准组合比较;采购 AI 服务时可核实厂商对退出信号的执行承诺。