AITOPAI热报
全球标准拟议模型提供方部署方

robots.txt 新增 ai-training 指令统一声明 AI 训练数据抓取限制

Unified ai-training directive in robots.txt for signalling AI training data restrictions
IETF·发布 2026-10-31·管理员 核对于 2026-11-01

Google、Microsoft、OpenAI、Anthropic 四家公司宣布将统一遵守基于 IETF 草案规范的 robots.txt 新指令 ai-training，用于声明网站数据不可用于 AI 训练。OpenAI 将在数月内支持，Bing 定于 2027-02-01，Google 计划在 2027 年内实现。

原文 ↗提醒我全球 · 全部

对企业意味着什么

  • 网站主只需在 robots.txt 中设置一个统一的 ai-training 标签，即可同时向四家主要 AI 公司声明禁止 AI 训练抓取，无需分别配置。
  • AI 模型提供方需按各自时间表（OpenAI 数月内、Bing 2027-02-01、Google 2027 年内）更新爬虫以识别并遵守该标签。
  • 该标准目前为 IETF 草案，属企业自愿遵守，尚不具有法律强制力。

    • 需要做什么

    合规法务/合规团队评估在 robots.txt 中部署 ai-training 标签以保护自有内容
    工程模型提供方工程团队制定爬虫支持该指令的时间表并实现解析逻辑
    法务跟踪 IETF 草案进展，确认规范最终定稿及各方遵守情况

    关键日期

    2026-10-31发布

    原文与资料

    原文 ↗

    相关报道

    信息流里的报道
    以上为编辑整理，不构成法律意见；日期与状态以原文为准。 · 报错 / 更正