Ilya两万字最新访谈:人类的情感并非累赘,而是 AI 缺失的“终极算法”
36氪·2025-11-26 12:26

当前AI模型的局限性 - 模型在评估测试中得分极高,但在实际应用中常犯低级错误,例如修复代码Bug时会引入新Bug,显示出评估性能与现实世界性能的脱节 [18] - 这种脱节源于强化学习被过度优化用于“刷榜”,导致模型像只会做题的竞赛选手,缺乏真正的判断力和泛化能力 [4][19] - 模型更像一个练习了10,000小时的竞技编程选手,精通解题套路,但泛化能力远不如只练习100小时却拥有“灵性”的学生 [21][22] 人工智能发展的范式转移 - 2012年至2020年是人工智能的研究时代,而2020年至2025年则是扩展时代,其特征是遵循预训练的扩展配方进行大规模投入 [33] - 当前单纯扩大模型规模的边际效应递减,行业需要从“扩展时代”回归到“研究时代”,寻找新的数据配方和训练方法 [33][34] - 预训练数据的有限性意味着依赖现有扩展配方将面临瓶颈,未来进展将更依赖于研究突破而非单纯算力堆砌 [33] 人类智能的关键优势与AI的缺失 - 人类通过极少数据(如10小时学会开车)就能掌握复杂技能,其核心优势在于强大的内部“价值函数”,即直觉和情感 [5][6] - 价值函数使人类能在没有明确外部奖励时进行自我纠正,而当前AI缺乏这种内在、鲁棒的价值评估机制 [6][28] - 人类在语言、数学等新领域的学习能力表明,其高效学习并非完全依赖进化先验,而是拥有更根本的、优越的机器学习算法 [40][41] 超级智能的定义与实现路径 - 真正的超级智能被定义为一个拥有极高样本效率的“超级学习者”,能够像人类一样通过少量接触就掌握任何工作 [3][57] - 实现路径可能并非构建一个知晓一切的静态系统,而是部署能够进行“持续学习”并掌握经济中所有工作的智能体实例 [57][60] - 广泛部署此类持续学习智能体可能导致快速的经济增长,其影响将被强烈感受到,但具体时间线和形态难以预测 [17][62] 安全超级智能(SSI)的战略与行业影响 - 公司战略从倾向于“直通超级智能”的秘密研发,转变为倾向于逐步发布,以展示AI的强大力量,促使公众、政府和竞争对手真正重视安全问题 [7][52] - 逐步发布有助于形成“安全军备竞赛”的良性合作,前沿公司预计将在安全合作中扮演重要角色,例如OpenAI和Anthropic已迈出合作步伐 [52][65] - 公司的技术方法专注于解决可靠的泛化问题,目标是构建稳健对齐、能“关爱有感知生命”的AI,这被视为一种可能的技术趋同方向 [66][78] 未来研究的方向与挑战 - 未来研究的关键在于提升模型的泛化能力和样本效率,这比单纯扩展算力更为根本 [35][36] - 价值函数被认为能让强化学习更高效,是未来可能的重要研究方向,但其具体实现和与情感的关联仍是待解之谜 [29][31] - 研究时代需要回归对想法的探索,而非单纯执行现有配方,算力是工具但并非唯一瓶颈,想法的质量将重新成为关键 [45][49] 超级智能的长期影响与均衡 - 超级智能的广泛部署可能带来快速的经济增长,但也是一个不稳定的情况,其力量需要受到某种限制或协议约束 [62][68] - 长期均衡的一种可能解决方案是人与AI通过脑机接口等方式深度融合,使人能完全理解并参与AI的决策过程 [72] - 行业最终对齐战略可能趋同于构建“关爱有感知生命”的AI,随着AI能力增强,公司和政府的行为模式将发生巨大改变 [70][78]