核心观点 - Cloudflare推出Disallow AI Training设置，允许网站所有者阻止AI训练爬虫抓取内容，同时保持其在搜索结果中的可见性[1][2] 产品功能与机制 - Disallow AI Training设置旨在解决混合用途爬虫（同时为搜索索引和AI训练收集内容）带来的问题[2] - 此前，网站所有者阻止这些爬虫进行AI训练时，也会同时阻止其用于搜索[2] - 启用该设置后，混合用途爬虫只有在尊重网站所有者选择的情况下才能访问该网站[3] - 多家公司运营独立的搜索爬虫和训练爬虫，这使得Cloudflare能够阻止其训练爬虫而不影响搜索爬虫[4] 行业合作与反馈 - Apple、Google和Microsoft已满足该设置所需标准或承诺遵守[4] - Cloudflare自7月以来一直与爬虫运营商讨论此问题[5] - Cloudflare产品总监Bryan Becker表示，几乎所有运营商都同意网站所有者应拥有对其内容使用的控制权和透明度[6] - Cloudflare CEO Matthew Prince称此举旨在“保持使搜索有价值的开放性，同时赋予网站背后的人们和企业对其作品使用的有意义控制”[5] 行业背景 - PYMNTS Intelligence报告发现，近90%的组织表示管理机器人活动是一项挑战[6] - AI驱动的代理与人类用户一起与平台交互时，薄弱或过时的控制措施使恶意机器人得以渗透，而合法用户被错误阻止[7]

公司战略与产品更新 - Cloudflare宣布推出针对AI爬虫的“Accountable”认证新规 [1] - 公司同步上线“Disallow AI Training”设置，允许任何网站拒绝AI训练的同时保持完全出现在搜索结果中 [1] - 11周前Cloudflare曾表示网站所有者应获得对AI如何使用其内容的真正控制权 [1] - 公司明确了爬虫运营商为获得持续访问权必须提供的条件 [1]