Workflow
AI爬虫无孔不入,Cloudflare要当网站的“救世主”
CloudflareCloudflare(US:NET) 36氪·2025-07-09 19:21

法律判决对AI行业的影响 - 美国法官裁定AI厂商使用受版权保护作品训练大模型属于合理使用 直接冲击内容创作者权益 [1] - 判决依据为"符合版权激发创造力、促进科学进步的目的" 使版权方陷入被动局面 [1] Cloudflare的反爬虫技术布局 - 推出默认阻止AI爬虫功能 新注册域名需主动授权爬取权限 [3] - 采用5秒盾技术 通过多维度验证区分真人用户与自动化工具 [10] - 开发AI Labyrinth蜜罐系统 用嵌套虚假页面消耗爬虫算力与带宽 [12][13] 内容产业的生存危机 - 谷歌AI Mode导致传统URL链接点击率下降30% 威胁网站广告收入模式 [8] - 用户转向Gemini/ChatGPT等AI聊天机器人 减少原始内容访问量 [8] - 版权方认为AI厂商引发生存危机 而非单纯利益分配问题 [10] Cloudflare的商业策略 - 反爬虫功能仅向付费客户开放 作为吸引网站站长的增值服务 [6] - 推出"按次付费爬取"方案 建立标准化内容付费渠道 [3][15] - 技术防御与商业合作并行 避免与AI厂商陷入消耗战 [15] AI厂商的内容获取现状 - 头部公司采取差异化策略:谷歌年付6000万美元获取Reddit内容 OpenAI付费使用施普林格出版物 [15] - 中小网站面临技术碾压 缺乏议价能力导致内容被无偿抓取 [15]