OpenAI、谷歌、微软与Anthropic近日宣布共同支持一项新的AI数据抓取退出标准：内容发布方只需在网站的robots.txt中写入统一标记，即可一次性向多家AI企业申明自身内容是否可用于模型训练，不必再为每家公司单独配置规则。该标准由Anthropic技术负责人Kevin Kelley向互联网工程任务组（IETF）提出，属于自愿性约定，不影响搜索收录。
这一机制的落地节奏并不一致：Anthropic已率先采纳，OpenAI计划在未来数月内实现，谷歌与微软预计2027年落地。Meta发言人也表示支持建立此类通用信号，但未明确具体计划。此前，网站必须对每一家AI公司分别声明训练偏好，而AI爬虫的持续抓取让内容方疲于应对。
把「退出」做成一项可协商的行业协议，意义超过技术本身：过去两年内容方与AI厂商的博弈主要以诉讼、屏蔽与商业授权单点突破，成本高、覆盖差。统一信号把博弈拉回标准化轨道——它既给了内容方一个低成本的选择权，也让合规抓取有了明确的判定依据。不过自愿性标准仍无法约束不遵守者，最终能否成为事实上的行业底线，取决于头部厂商的执行力度与监管是否将其纳入合规要求。