当AI聊天机器人、AI搜索受到越来越多用户的青睐，AI厂商与内容创作者的矛盾已然不可调和，AI时 代的流量争夺战迎来了全线升级，"AI摘要"劫持流量更是成为内容创作者拒绝接受的现实。这时候，云 服务提供商Cloudflare选择与内容创作者站在一起，不久前宣布将默认阻止AI爬虫在未经网站所有者许 可或补偿的情况下抓取其内容。 Pay Per Crawl是Cloudflare推出的一个交易市场，为内容创作者和AI厂商提供了一个撮合交易的场景。 为了Pay Per Crawl，早在一年前Cloudflare就宣布，为使用其服务的网站提供AI审计工具 (Cloudflare AI Audit) ，向网站站长报告AI厂商的爬虫何时访问网站、抓取数据的IP地址、抓取频次，以及其他相关数 据。 要知道一个交易平台想要成功，买卖双方的认可才是关键。可现在的情况是作为卖方的内容创作者、网 站站长对于Pay Per Crawl有着迫切的需求，可买方AI厂商则不然。 在目前的条件下，一般的网站其实很难抵御AI爬虫的抓取，只能提供"软约束"的robots.txt更是已经成为 废纸。同时AI直接将内容浓缩为摘要的行为，让用户根本就不 ...