行业事件

OpenAI 将采用通用网站 AI 训练偏好信号

事件时间 1 个独立来源编辑评分 73/100本站发布

先了解这件事

OpenAI 宣布将尊重 robots.txt 中的通用信号,让网站运营者可一次表达其内容是否用于基础生成式 AI 训练的偏好。该信号仍在 IETF AI Preferences 工作组推进中,OpenAI 表示会在未来数月实施,既有爬虫控制不受替代。

变化是什么

OpenAI 承诺尊重一项供多个参与方采用的 robots.txt 通用训练偏好信号,网站无需分别维护每家提供方的规则。

对你意味着什么

依赖公开网页内容的发布者和 AI 产品团队应关注该标准的实施范围,但在 OpenAI 发布细节前仍须保留现有的逐爬虫控制。

OpenAI 宣布将尊重 robots.txt 中的一项通用信号,以便网站运营者表达其内容是否可用于基础生成式 AI 训练。官方将此描述为自愿性做法:运营者不必分别识别每一个 AI 爬虫并为每家提供方维护规则,而能向采用该信号的多个参与方传达同一项偏好。

该工作来自 IETF 的 AI Preferences 工作组。OpenAI 说将参与该标准讨论,并计划在未来数月实施信号,但尚未给出具体的生效日期或实施细节。因此这不是今天即可替代现有配置的开关。

对发布者而言,下一步是继续维护当前的 robots.txt 爬虫控制,并跟踪自己所用托管商、CDN 与 AI 提供方是否明确支持该信号。对构建检索、爬取或训练工作流的团队而言,也应把“共同偏好信号”与现有站点级规则分别处理,直到各提供方公开其实际支持范围。

事实核查

  • 已核实OpenAI 宣布将尊重 robots.txt 中用于基础生成式 AI 训练偏好的通用信号,并称该信号可让运营者向多个参与的 AI 提供方表达同一偏好。依据
  • 已核实OpenAI 表示计划在未来数月实施该信号,且不会取代其既有 robots.txt 爬虫控制。依据

报道时间线

  1. 一手来源OpenAI
    OpenAI