Online Platforms
搜索文档
Patreon stops asking AI bots not to scrape — and starts blocking them
TechCrunch· 2026-07-17 23:21
公司行动与措施 - Patreon正在与互联网基础设施提供商Cloudflare合作,直接阻止旨在未经许可使用创作者作品训练AI模型的AI爬虫访问其平台[1] - 公司正在扩展与Cloudflare的现有合作,利用其AI爬虫控制技术来更新AI政策和执行工具,从仅通过robots.txt文件请求爬虫不要抓取,转变为主动阻止AI训练爬虫[4] - 在测试新功能期间,单个AI训练爬虫每周尝试访问Patreon的次数从“数千次降至零次”,这表明AI抓取工具此前无视了公司的robots.txt文件[5] - 公司表示,将允许那些索引页面、整理信息并可将用户引导回Patreon的爬虫运行[6] 行业背景与动因 - 更多在线出版商和内容创作者正在应对AI为使其模型更智能而吸收其作品的问题[3] - Cloudflare目前提供工具允许网站发布者限制AI爬虫,包括一个名为“按次爬行付费”的市场,允许网站向AI爬虫收取抓取费用[3] - Cloudflare本月早些时候更改了政策,默认阻止在任何托管广告的页面上进行“混合用途”抓取(即同时进行内容索引和训练)[3] - AI抓取行为自2023年首次采取措施阻止AI爬虫以来已变得更加复杂[2] 公司战略与愿景 - Patreon的产品负责人表示,随着AI代理日益强大和普及,创作者应有权在AI公司如何使用其作品方面拥有有意义的发言权[7] - 公司认为,在大多数互联网平台上,创作者为了触及和增长受众,不得不接受其作品被用于AI训练,而Patreon持有不同的愿景:创作者应能增长受众并控制其作品的使用方式[7] - Patreon的付费墙长期以来将大部分创作者内容锁定在爬虫无法触及的范围,但公司最近引入了新的发现工具(如重新设计的主页信息流和类似推文的Quips),这可能使更多内容暴露给爬虫[2] - 公司解释采取更严格措施的原因时指出,同意与否不应取决于抓取工具是否选择遵守规则[5]