OpenAI等四家公司将采用统一AI抓取退出标准

OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新的共享 robots.txt 信号，让出版商可在网站 robots.txt 中一次性向多家 AI 公司表达退出 AI 抓取的偏好，取代目前需逐家设置的方式。该“policy token”信号由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出。 各家的落地时间不同：Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 称将在“未来几个月”内实施。Microsoft 还称将提供更细粒度的控制，让出版商可分别选择退出 AI 训练或 AI grounding，并称无论网站偏好如何，其仍会出现在 Bing 搜索结果中。 OpenAI 此前仅称该信号用于传达网站运营者对 AI 训练的偏好，未说明覆盖哪些训练用途、何时生效及其他参与提供商。

AI 根据报道生成 · 11 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。