去中心化合作

搜索文档
AI将受困于人类数据
36氪· 2025-06-16 20:34
AI发展时代划分 - 当前处于从"人类数据时代"向"经验时代"转型的关键拐点 所有大型语言模型依赖互联网文本和人工标注等"二手经验"训练 但高质量人类数据已被快速消耗殆尽 新增语料的边际价值正急剧下降 [2][5][7] - 人类数据时代特征:AI系统训练基于人类生成的文本和图像 通过预测人类下一个词进行学习 而非预测世界 该策略已接近极限 [5][6] - 经验时代特征:智能体需通过与环境实时交互生成原生数据 数据源随智能体能力提升而指数级扩张 学习方式类似婴儿探索玩具或运动员赛场决策 [6][7][10] 技术实现路径 - 强化学习框架已验证可行性:AlphaGo通过模拟移动后果产生经验学习创造性策略 AlphaProof在国际数学奥林匹克竞赛中通过操作后果预测实现突破 [8][10] - 未来技术方向:智能体需建立自生奖励信号和世界模型 发展高保真环境下的长期记忆体系 通过高并行交互提升样本效率 [3][7][11] - 持续学习算法是关键瓶颈:当前AI尚无法实现完全从经验中学习 需开发更强算法支持智能体作为世界知识的可定制接口 [11] 社会治理哲学 - 去中心化合作优于中心化控制:多元目标并存的生态系统通过分布式激励保持创新活力 类比自然界不同生物拥有差异化目标的经济体系 [12][13][16] - 合作机制是核心优势:人类通过语言和金钱实现远超其他物种的合作规模 但需建立制度防范作弊者(如战争、欺诈)同时避免中心化权威僵化 [13][14][16] - AI治理警示:限制AI发展的呼吁与控制人类社会的历史论调高度相似 应警惕基于恐惧的单一目标束缚 保持多样化追求可降低单点失效风险 [15][16] 行业演进展望 - 合成数据成为新趋势:科技公司因人类数据边际效益递减而转向合成数据领域 [2] - 里程碑案例验证路径:从AlphaGo的模拟经验到AlphaProof的现实经验 显示大型语言模型正通过API接入等方式初步进入经验时代 [10] - 长期工程属性:实现超级智能需数十年持续投入 属于马拉松式发展而非短期突破 [10]
AI将受困于人类数据
腾讯研究院· 2025-06-16 17:26
AI发展拐点:从人类数据时代迈向经验时代 - 当前大型语言模型依赖互联网文本和人工标注等"二手经验"训练,但高质量人类数据已被快速消耗殆尽,新增语料的边际价值正急剧下降 [1][7] - 模型规模继续膨胀却收效递减的"规模壁垒"现象显现,大量科技公司开始转向合成数据 [1] - 智能体必须像婴儿学习玩具、足球运动员在赛场决策那样,通过与环境交互不断生成并利用第一手经验,而非单纯模仿人类旧有文本 [1][8] 经验时代的技术特征 - 智能体需要在真实或高保真模拟环境中持续运行,用环境回馈而非人类偏好作为原生奖励信号 [2] - 发展能够长期复用的世界模型与记忆体系,并通过高并行交互大幅提升样本效率 [2] - 强化学习范例(如AlphaGo、AlphaZero)已证明从模拟经验到现实经验的演进路径 [5][12] 去中心化合作的发展哲学 - "去中心化合作"优于"中心化控制",多元目标并存的生态系统通过分布式激励与竞争协作保持创新活力 [2][16] - 让智能体和人类都保持多样化追求,能降低单点失效与僵化风险,为未来AI治理提供更具韧性的框架 [2] - 人类最大的成功是合作(如经济、市场和政府),最大的失败是合作的失败(如战争、盗窃) [16][17] AI发展的三个阶段 - 模拟时代:AlphaGo、Atari等强化学习智能体从模拟经验中学习 [12] - 人类数据时代:ChatGPT和大型语言模型依赖人类生成的数据 [12] - 经验时代:智能体通过与世界互动的经验学习,AlphaProof是早期例证 [12] 智能体的核心能力构建 - 智能体需要像婴儿那样通过感知-行动循环凭第一人称经验自我学习 [5][8] - 知识必须关于经验而非文字,智能程度取决于预测和控制输入信号(特别是奖励信号)的能力 [10] - 强化学习框架让智能体成为能够做决定、实现目标、与世界互动的一流智能体 [10]
强化学习之父:LLM主导只是暂时,扩展计算才是正解
量子位· 2025-06-10 10:23
大模型技术前景 - 当前大语言模型(LLM)主导地位是暂时的 未来5-10年将不再是技术前沿[1][4] - LLM依赖人类数据训练 但模仿人类思维只能达到人类水平上限 难以突破现有认知边界[9][10][11] - 静态数据集存在局限性 AI需要从第一人称交互中获取动态"体验数据"实现自我迭代[13][14][15] 强化学习与体验时代 - 强化学习之父Richard Sutton提出AI将进入"体验时代" 通过Agent与环境互动产生更高级数据[14][18] - AlphaGo第37手非常规走法证明体验学习能突破人类认知局限[14] - 持续学习算法+大规模算力扩展是强化学习发挥潜力的关键[20][22][23] Agent去中心化发展 - 不同目标Agent可通过去中心化合作实现互利共赢 类似人类社会经济运转模式[24] - 集中控制AI的主张源于恐惧 多样性目标与合作秩序更能释放AI潜力[25][26] - 未来AI将具备自主设计能力 人类角色转变为设计催化剂[29] 行业技术争议 - 技术社区对LLM发展存在分歧 部分观点认为LLM已接近领域天花板[31] - 技术突破常来自未知领域 当前LLM技术成熟度可能限制创新空间[31]
强化学习之父Richard Sutton:人类数据耗尽,AI正在进入“经验时代”!
AI科技大本营· 2025-06-06 18:18
AI技术演进与经验时代 - 当前AI发展正从"人类数据时代"转向"经验时代",依赖静态人类数据的模式已接近极限,高质量数据源基本耗尽[9] - 真正的智能应源于动态经验交互而非预设数据,智能体需通过第一人称视角与环境持续互动获取成长性数据源[6][9][13] - AlphaGo的"神之一手"和AlphaProof数学推理证明经验交互的价值,游戏/数学等规则明确领域已实现突破[12] - 经验定义为传感器输入与执行器反馈的闭环,类似婴儿探索或运动员实时决策的高带宽感知-行动机制[10][11] 智能体AI的技术特征 - 智能本质在于预测与控制感官输入的能力,即预判环境反馈并制定策略的因果认知[6][13] - 持续学习(Continual Learning)是核心挑战,现有大语言模型缺乏与世界模型结合的规划能力[17][34] - AI智能体(Agentic AI)需具备目标导向、环境互动和记忆更新能力,当前强化学习尚未解决现实世界不确定性[13][34] - 从模拟时代(AlphaGo)→人类数据时代(GPT-3)→经验时代的技术演进路径已明确[14] 去中心化合作的社会模型 - 超级智能体或被增强的人类将带来净正面影响,技术失业等问题属转型阵痛[3][17] - 社会运作应基于多样目标个体的互惠协作,类似市场经济中差异化分工带来的高效系统[21][24] - 语言和货币是促进人类合作的关键发明,合作失败案例(战争/腐败)源于机制失效而非技术本身[23][25] - 中心化控制(蜂群模式)与去中心化合作存在根本张力,后者更具韧性和抗欺诈能力[24][25] AI治理与发展争议 - AI安全争论本质是"改变AI本身"与"改造社会环境"两种路径的分歧,后者更可持续[31] - 限制AI目标或算力的主张与政治领域的言论自由/贸易保护争议具有相似性[26] - 《苦涩的教训》指出可扩展计算优于人为规则,从人类数据转向经验数据印证这一观点[35][36] - AGI实现需突破持续学习和世界模型规划,预计时间跨度5-15年而非短期[34]