Cloudflare 推出「禁止 AI 训练」设置：保留搜索收录，拒绝同一爬虫拿内容去训练
配图：AI 生成的示意图，非 Cloudflare 官方素材；具体规则以正文为准。
TL;DR：Cloudflare 9 月 15 日宣布推出一项新的「禁止 AI 训练」（Disallow AI Training）设置，让网站所有者在继续被搜索引擎收录的同时，阻止同一个爬虫把网站内容用于 AI 模型训练。苹果、谷歌和微软均已承诺在指定时间内遵守这一设置。它针对的是长期存在的一个两难：不少大型机构使用「混合用途爬虫」，同一个爬虫既服务搜索也服务训练，拒绝其中一项就等于把另一项也拒了。
Cloudflare 按行为对爬虫分类，一个爬虫可以同时具有多种行为。三种基本行为是：搜索，爬取数据以构建搜索索引；训练，爬取数据以训练或微调模型；代理，代表人类用户访问页面的用户导向智能体，例如聊天机器人和浏览器使用智能体。混合用途爬虫指同一个爬虫同时执行搜索和训练。此前 Cloudflare 的「屏蔽」和「屏蔽包含广告的页面」两项功能并不适用于这类爬虫，因为屏蔽它们会连带影响搜索结果。
新设置的名字来自它会在网站 robots.txt 里发布的 Disallow 指令。开启后，Cloudflare 的机器人偏好同步功能会把「禁止训练」的偏好写进 robots.txt，可问责的混合用途爬虫仍可继续用于搜索；所有其他训练爬虫则被直接屏蔽，包括 Amazon、Anthropic、Meta 和 OpenAI 运行的纯训练爬虫——屏蔽这些爬虫不会影响搜索。该设置只作用于训练，不影响搜索和代理两类设置。加上这一项后，训练类的可用选项共四档：允许（放行所有爬虫，除非被其他设置或 WAF 规则拦下）、禁止 AI 训练、屏蔽包含广告的页面（仅在检测到页面投放广告时屏蔽爬虫，包括混合用途爬虫）、屏蔽（所有爬虫一律屏蔽，混合用途爬虫也不例外）。有了新设置之后，后两档也开始适用于所有训练爬虫，包括混合用途爬虫。
一个技术上的边角：「仅屏蔽投放广告的页面」这条偏好没法用 robots.txt 表达。Cloudflare 能检测到哪些页面投了广告，但这份列表太大、变化太频繁，写不进 robots.txt，所以在投放广告的页面上不会设置「禁止 AI 训练」偏好。
Cloudflare 还预告了下一步。混合用途爬虫是训练一侧最棘手的部分，接下来是 AI 摘要：全站一刀切的「是」或「否」过于粗糙，内容以什么程度出现在摘要里，和是否出现同样重要。「可选择退出 AI 摘要」已是 Cloudflare 对混合用途爬虫运营商提出的要求之一，目标是在明年年初之前让网站主能控制哪些内容会进入摘要，并且只需在 Cloudflare 设置一次，不必逐家运营商分别处理。