核心观点 - Cloudflare宣布自2026年9月15日起，默认屏蔽“混合用途”网络爬虫访问托管广告的页面，此举旨在将用于传统搜索（如谷歌搜索）的爬虫与用于AI代理和训练的爬虫区分开来 [1] - 此举可能影响AI模型提供商为训练目的和驱动其代理服务而获取网络内容的能力 [2] - 公司认为，鉴于互联网上大部分流量已是非人类流量，必须采取更快行动以促成一个可持续的生态系统 [5] 政策变更详情 - **变更范围**：默认设置将阻止“混合用途”爬虫抓取托管广告的页面，除非网站所有者调整设置 [1] - **适用范围**：此默认变更将适用于新的Cloudflare客户、现有客户新设置的网站以及所有现有的免费客户 [2] - **目标对象**：政策主要针对那些将搜索、代理使用和训练功能混合在一起的爬虫 [2] 行业背景与动因 - **网站所有者诉求**：大多数网站所有者希望其内容可通过搜索和AI服务被发现，但同时也希望保护其知识产权不被免费使用 [3] - **市场竞争失衡**：Cloudflare指出，“全球最大的搜索引擎”（暗指谷歌）获取的信息量比其他AI公司多约“2倍”，因为该搜索巨头使得客户难以在保持可发现性的同时不被用于AI [3] - **流量结构转变**：近期网络爬虫流量首次超过了人类流量，这一转变比预期（明年）提前发生 [5] 相关方回应与现有工具 - **谷歌的立场**：谷歌过去曾反驳此类概括，指出其提供了名为Google Extended的机器人，允许网站所有者选择不将其内容用于训练及Gemini Apps和Vertex API等AI产品和服务，且使用该工具不影响网站在谷歌搜索中的收录 [4] - **谷歌的爬虫现状**：其旗舰爬虫Googlebot同时用于搜索（包括AI Overviews和AI Mode等AI功能）抓取 [4] - **Cloudflare现有工具**：公司已发布一系列工具，包括一个名为“按次爬取付费”（Pay Per Crawl）的市场，允许网站向AI爬虫收费 [7] 新工具与商业模式演进 - **工具升级**：“按次爬取付费”模式正在演变为“按使用付费”（Pay Per Use），允许发布商在内容创造价值时（而不仅仅是被抓取时）向AI公司收费 [8] - **资源优化**：此变更有助于为AI模型提供商节省发布商的带宽和计算资源，因为Cloudflare的数据表明，超过50%的AI爬虫抓取流量用于重复抓取未更改的页面 [8] - **初步合作伙伴**：为实施此模式，Cloudflare正与Ceramic.ai和You.com两家合作伙伴初步合作，当发布商选择加入后，其内容出现在Ceramic的AI搜索结果中或You.com访问其优质内容时，发布商将获得报酬 [9] - **模式可定制**：其他AI公司可以根据自身工作方式定制此模型 [9] 预期影响与目标 - **提升控制与收益**：Cloudflare的新工具和合作伙伴关系为网站所有者提供了更高的可见性和商业机会 [6] - **鼓励行业规范**：公司希望其提议的默认变更能鼓励混合用途爬虫将搜索功能与代理使用和训练功能分离开来 [6] - **受益透明AI公司**：这些变化将使那些拥有意图清晰透明的机器人的AI公司受益 [6]