Workflow
AI将受困于人类数据
腾讯研究院·2025-06-16 17:26

AI发展拐点:从人类数据时代迈向经验时代 - 当前大型语言模型依赖互联网文本和人工标注等"二手经验"训练,但高质量人类数据已被快速消耗殆尽,新增语料的边际价值正急剧下降 [1][7] - 模型规模继续膨胀却收效递减的"规模壁垒"现象显现,大量科技公司开始转向合成数据 [1] - 智能体必须像婴儿学习玩具、足球运动员在赛场决策那样,通过与环境交互不断生成并利用第一手经验,而非单纯模仿人类旧有文本 [1][8] 经验时代的技术特征 - 智能体需要在真实或高保真模拟环境中持续运行,用环境回馈而非人类偏好作为原生奖励信号 [2] - 发展能够长期复用的世界模型与记忆体系,并通过高并行交互大幅提升样本效率 [2] - 强化学习范例(如AlphaGo、AlphaZero)已证明从模拟经验到现实经验的演进路径 [5][12] 去中心化合作的发展哲学 - "去中心化合作"优于"中心化控制",多元目标并存的生态系统通过分布式激励与竞争协作保持创新活力 [2][16] - 让智能体和人类都保持多样化追求,能降低单点失效与僵化风险,为未来AI治理提供更具韧性的框架 [2] - 人类最大的成功是合作(如经济、市场和政府),最大的失败是合作的失败(如战争、盗窃) [16][17] AI发展的三个阶段 - 模拟时代:AlphaGo、Atari等强化学习智能体从模拟经验中学习 [12] - 人类数据时代:ChatGPT和大型语言模型依赖人类生成的数据 [12] - 经验时代:智能体通过与世界互动的经验学习,AlphaProof是早期例证 [12] 智能体的核心能力构建 - 智能体需要像婴儿那样通过感知-行动循环凭第一人称经验自我学习 [5][8] - 知识必须关于经验而非文字,智能程度取决于预测和控制输入信号(特别是奖励信号)的能力 [10] - 强化学习框架让智能体成为能够做决定、实现目标、与世界互动的一流智能体 [10]