四家厂商共推统一 AI 训练退出信号，网站可在 robots.txt 一键声明
发布日期：2026-11-02
事件概述
OpenAI、谷歌、微软、Anthropic 四家共同支持了一项新的训练偏好信号：网站可以在 robots.txt 里用统一策略标记「__usage_ai-training」，一键声明内容是否允许被拿去训练生成式 AI 模型，不必再为每家厂商单独配一遍规则。
边界说得很清楚：这个信号只表达用途偏好，不影响搜索引擎收录。落地节奏是分批的——Anthropic 已经率先采用，OpenAI 计划未来数月内实现，谷歌与微软预计 2027 年支持。
核心要点
- 解决的是配置重复问题：过去网站要屏蔽训练爬虫，得分别写四套规则；统一策略把这件事收敛成一行声明
- 它是「偏好」不是「强制」：信号只表达意愿，不改变抓取行为本身，实际约束力取决于平台侧是否真的尊重——这一点业内仍在争议
- 与付费协议是两条并行的路：在爬虫规则之外，Anthropic 与 SpaceX、微软与英伟达、亚马逊与谷歌的算力采购协议正在构成另一条通道：内容方用数据换算力
行业意义
四家最大的模型厂商愿意共用一套声明格式，这件事本身比格式本身更有价值——它说明内容方与模型方之间正在形成一套最低共同语言。但要留意：这类规则解决的是「爬不爬」，解决不了「训练出来的模型算谁的」，而后一个问题才是内容方真正焦虑的地方。