OpenAI等四家AI公司支持robots.txt退出标准
先了解这件事
2026年10月30日，OpenAI在官网宣布将遵守共享的robots.txt信号，帮助网站运营者向参与的服务商表达AI训练偏好。据介绍，借助这一共享机制，网站只需一份robots.txt文件即可向多家参与的服务商传达偏好，降低表达训练偏好的门槛，OpenAI表示自身将成为遵循该机制的服务商之一。10月31日，The Verge报道称，OpenAI、Google、Microsoft和Anthropic四家公司宣布将采用这一统一标准，网站可在robots.txt文件中一处声明，即可向多家AI公司表达拒绝训练抓取的偏好。11月1日，IT之家报道称，该标准由Anthropic技术负责人Kevin Kelley向互联网工程任务组（IETF）提出，集成在网站robots.txt文件中，内容发布方可一次性向多家AI企业申明训练内容使用偏好，不必再为每家单独设置规则。各篇报道说法一致，暂无矛盾信息，事件目前进展为四家公司共同采用该标准，且新披露该标准已由Anthropic方向IETF提出。
AI 根据报道生成 · 19 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- IT之家·人工智能OpenAI、谷歌、微软和 Anthropic 联手推行 AI 数据抓取退出标准
OpenAI、谷歌、微软和 Anthropic 近日宣布采用一项新标准，内容发布方可借助该标准选择拒绝 AI 抓取自家网站内容。该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，将集成在网站的 robots.txt 文件中，发布方可向多家 AI 企业一次性申明训练内容使用偏好，不必再为每家单独设置规则。
- The Verge · AIOpenAI、Google、Microsoft、Anthropic 支持统一的 AI 抓取退出标准
OpenAI、Google、Microsoft 和 Anthropic 宣布将采用统一标准，网站可在 robots.txt 文件中一处声明即可向多家 AI 公司表达拒绝训练抓取的偏好。
- OpenAI：官网动态OpenAI 将遵守共享 robots.txt 信号，方便网站表达 AI 训练偏好
OpenAI 宣布将遵守共享的 robots.txt 信号，帮助网站运营者向参与的服务商表达 AI 训练偏好。借助这一共享机制，网站通过一份 robots.txt 即可向多家参与的服务商传达偏好，降低表达训练偏好的门槛。
本事件热度走势
当前热度 6·可比范围峰值 17（10月31日 06:00）·近 24 小时可比范围变化 -3%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。