欧盟对谷歌AI训练数据获取方式的调查 - 欧盟监管机构正在调查谷歌是否利用其搜索引擎主导地位，通过Googlebot网络爬虫无偿获取互联网内容用于AI训练，从而在人工智能竞争中获得不公平优势 [1] - 调查针对谷歌推出的AI Overviews和AI Mode功能，旨在确定其是否对内容创作者施加了不公平条款 [1] 谷歌的潜在竞争优势与行业对比 - 当OpenAI、Anthropic、亚马逊等竞争对手花费数亿美元与出版商达成授权协议以获取训练数据时，谷歌通过为搜索引擎服务的Googlebot免费获取整个互联网内容 [2] - 这一优势帮助谷歌在ChatGPT推出后迅速追赶，其AI模型目前已达到竞争对手水平 [2] - 谷歌依赖Googlebot自动化程序浏览网页并为搜索引擎建立索引，同时使用同一程序为其Gemini聊天机器人和AI Overviews背后的模型提供训练数据 [3] - Cloudflare首席执行官指出，谷歌的行为像是在宣称对世界上所有内容拥有天赋权利，即使不为此付费 [3] 对内容出版商的影响与困境 - 由于用户更多依赖AI摘要获取信息而非点击搜索结果链接，网站所有者的流量出现下降 [3] - 出版商面临两难：阻止谷歌爬虫可能导致网站在普通搜索结果中不被收录，但允许谷歌使用其内容训练AI系统则意味着失去获得报酬的机会 [3] - 谷歌在法庭上披露，由于组织架构问题，即使网站选择退出，谷歌仍会使用其内容进行AI训练，使出版商处于被绑架状态 [4] 潜在的监管解决方案 - 一个被讨论的解决方案是强制谷歌仅将Googlebot用于搜索，并创建一个独立的网络爬虫专门用于抓取AI Overviews所需内容，让出版商可以单独选择退出或要求补偿 [5] - 从技术角度看，谷歌工程师可以轻松构建一个具有不同标识符的爬虫，但Alphabet将抵制任何迫使其像其他公司一样协商并支付AI训练内容费用的措施 [5] - 强制分离将创造一个更加公平的竞争环境，让所有AI公司在获取训练数据方面面临相同的成本结构 [5] 对市场竞争格局的潜在影响 - 谷歌称欧盟的调查“有可能扼杀比以往任何时候都更具竞争性的市场创新” [6] - 分析指出，AI繁荣本应推动一个拥有数百家可行公司的竞争性市场，但正朝着将利润集中在谷歌等现有巨头手中的方向发展 [6] - 通过Googlebot进行的“双重利用”是谷歌利用其主导地位进一步巩固自身优势的最新例证，这种潜在优势需要被消除以创造真正公平的AI竞争环境 [6]