Cloudflare 推出「禁止 AI 训练」设置：保留搜索收录，拒绝同一爬虫拿内容去训练
TL;DR：Cloudflare 9 月 15 日宣布推出一项新的「禁止 AI 训练」（Disallow AI Training）设置，让网站所有者在继续被搜索引擎收录的同时，阻止同一个爬虫把网站内容用于 AI 模型训练。苹果、谷歌和微软均已承诺在指定时间内遵守这一设置。它针对的是长期存在的一个两难：不少大型机构使用「混合用途爬虫」，同一个爬虫既服务搜索也服务训练，拒绝其中一项就等于把另一项也拒了。 Cloudflare 按行为对爬虫分类，一个爬虫可以同时具有多种行为。三种基