OpenAI、谷歌、微软和 Anthropic 联手推行 AI 数据抓取退出标准

文章要点

1OpenAI、谷歌、微软和 Anthropic 联合宣布采用一项新标准，内容发布方可借此选择拒绝 AI 抓取自家网站内容
2内容发布方可向多家 AI 企业一次性申明 AI 训练内容使用偏好，不必再为每家企业单独设置规则
3该标准由 Anthropic 技术负责人 Kevin Kelley 向 IETF 提出，将集成在网站的 robots.txt 文件中
4Anthropic 已率先采纳，OpenAI 计划未来几个月落实，谷歌和微软预计明年支持，Meta 表示支持但未给出计划

决策要点

四家 AI 公司统一接受退出机制，把 AI 训练数据授权从逐家单独交涉推进到一次申明、多方生效的标准化阶段。

影响：拥有网站内容资产的企业管理 AI 抓取授权的成本会降低，逐家追着爬虫维权的负担减轻；各家落地时间不一，过渡期内仍需分别应对；是否退出涉及训练数据授权与 AI 渠道曝光之间的取舍。
参考：可考虑盘点自有网站 robots.txt 现状和对各 AI 公司的既有申明；值得评估退出 AI 训练抓取对授权收益和曝光的影响，再决定申明策略。
依据：依据 IT之家转述的各公司公告和 Anthropic 技术负责人向 IETF 提案的说法；谷歌和微软支持目前仅为公司预期，Meta 表态来自其发言人，暂无独立验证。

正文

感谢IT之家网友咩咩洋的线索投递！

IT之家 11 月 1 日消息，OpenAI、谷歌、微软以及 Anthropic 近日宣布将采用一项新标准，内容发布方可以借助该标准选择拒绝 AI 抓取自家网站内容。借助这项管控机制，内容发布方可以一次性向多家 AI 企业统一申明自身针对 AI 模型训练的内容使用偏好，而不必为每家企业单独设置规则。

该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，并将集成在网站的 robots.txt 文件中。

长期以来，robots.txt 文件用于告知网络爬虫哪些网站内容允许抓取、哪些禁止抓取，适用场景包含搜索索引、网页归档以及 AI 模型训练。目前，网站必须向每一家 AI 企业分别单独声明自己的 AI 训练相关内容使用偏好。在此背景下，各类 AI 爬虫持续抓取网站内容、将网页素材输入 AI 模型训练，内容发布方正为此焦头烂额。

IT之家注意到，目前，网站需向每家公司单独声明训练偏好，新标准旨在简化这一流程。Anthropic 已率先采纳，OpenAI 计划在未来几个月内落实，谷歌和微软则预计于明年支持。Meta 发言人 Andy Stone 也表示支持建立此类通用信号，但未明确具体落地计划。

决策要点

AI 评分59

四家 AI 公司统一接受退出机制，把 AI 训练数据授权从逐家单独交涉推进到一次申明、多方生效的标准化阶段。

影响：拥有网站内容资产的企业管理 AI 抓取授权的成本会降低，逐家追着爬虫维权的负担减轻；各家落地时间不一，过渡期内仍需分别应对；是否退出涉及训练数据授权与 AI 渠道曝光之间的取舍。
参考：可考虑盘点自有网站 robots.txt 现状和对各 AI 公司的既有申明；值得评估退出 AI 训练抓取对授权收益和曝光的影响，再决定申明策略。
依据：依据 IT之家转述的各公司公告和 Anthropic 技术负责人向 IETF 提案的说法；谷歌和微软支持目前仅为公司预期，Meta 表态来自其发言人，暂无独立验证。