OpenAI 等四家企业将推行 AI 数据抓取退出统一标准

What the source reports

OpenAI、谷歌、微软以及 Anthropic 近日宣布将采用一项可让内容发布方选择拒绝 AI 抓取自家网站内容的新标准，内容发布方可借助该标准一次性向多家 AI 企业统一申明针对 AI 模型训练的内容使用偏好，无需为每家企业单独设置规则。该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组提出，将集成在网站的 robots.txt 文件中。此前网站需向每家 AI 企业单独声明 AI 训练相关内容使用偏好，面对各类 AI 爬虫持续抓取网站内容用于模型训练的情况，内容发布方不堪其扰，新标准旨在简化这一流程。目前 Anthropic 已率先采纳该标准，OpenAI 计划未来几个月内落实，谷歌和微软预计明年支持，Meta 也表示支持建立此类通用信号，但未明确具体落地计划。