Scaling时代
搜索文档
Ilya重磅发声:Scaling时代终结,自曝不再感受AGI
36氪· 2025-11-26 14:54
Ilya重磅访谈放出!1个半小时,全程2万字,他爆出惊人观点:Scaling时代已终结,我们正走向研究时代。 Scaling时代已终结! 这一次,Ilya在镜头前平静地说出这句话时,整个AI圈都屏住了呼吸—— 我们已从Scaling时代,正走向研究时代。 在这场与著名主持人Dwarkesh Patel的深度访谈中,Ilya几乎把当前AI研究最刺痛的真相揭开了: 不仅仅是预训练,就连Scaling Law这条路,已经被他判了「缓刑」——还能继续走,但绝不会通向AGI! 他还指出,今天的模型再强,泛化能力也远远配不上其参数量和Benchmark的分数,甚至远逊于人类。 最关键的是,Ilya已对技术缺失的环节形成清晰的思路,但选择暂不公开更多的细节。 这场长达1个半小时对谈,Ilya还探讨了SSI战略、AI模型泛化能力提升关键,以及AGI未来的发展路线。 核心亮点一览: 当前技术路线后劲不足——模型虽持续改进,但无法实现AGI 真正可行的系统架构我们至今尚未掌握构建方法 核心瓶颈:泛化能力,而模型在此领域远逊人类 即便用所有编程竞赛题目训练模型,它仍无法形成真正的「解题直觉」 评估分数光鲜亮丽,但实际性能滞后——R ...
Scaling时代终结了,Ilya Sutskever刚刚宣布
机器之心· 2025-11-26 09:36
AI行业技术发展现状 - 当前AI模型存在"参差不齐"现象,在复杂评测中表现出色却在简单任务上反复犯错,如修复Bug时引入新Bug[20] - 这种现象源于"奖励黑客行为",研究人员过度针对评测集进行强化学习训练,导致模型缺乏真正理解和泛化能力[11][23] - 模型表现类似于"刷题家",通过大量针对性训练获得表面能力,但缺乏真正的智能天赋[24][25] AI学习机制与人类对比 - 人类学习效率远高于AI,样本效率更高,这得益于进化留下的先验知识和内在学习机制[43][44] - 情绪在人类决策中扮演类似价值函数的角色,帮助在获得最终结果前判断决策好坏[29][32] - 人类拥有基于价值函数的内在学习机制,能够进行持续学习和自我纠正[11][35] AI发展阶段转变 - 扩展时代(2020-2025)以堆算力和数据为主旋律,通过预训练获得性能提升[38][39] - 当前预训练数据即将耗尽,单纯扩大规模的边际回报递减,行业进入"研究时代"[39][40] - 新阶段需要寻找新的"配方",更聪明地使用算力,特别是在强化学习和推理过程中[40][41] Safe Superintelligence Inc战略 - 公司采用"直通超级智能"策略,专注于研发直到解决安全超级智能问题后再发布[9][59] - 目前专注于研究,不急于通过产品获利,避免商业竞争的"老鼠赛跑"[9][58] - 公司筹集30亿美元资金,专注于技术研究而非推理产品开发[56][57] 对齐与未来展望 - 核心对齐目标是"关爱感知生命",这比单纯"听从人类指令"更稳健[9][76] - 未来可能出现多个大陆级规模的AI集群,只要前几个最强大的AI是对齐的,世界可能进入良性发展轨道[9][78] - 长期均衡状态可能是人类通过脑机接口与AI融合,成为"半AI"[9][82] 技术发展方向 - 价值函数将在未来AI发展中发挥重要作用,提高强化学习效率[34][41] - 根本性挑战是提高模型泛化能力,这比人类差得多[41][47] - 需要重新思考训练方式,实现类似人类的持续学习能力[48][49] 行业竞争格局 - 当前AI公司比想法多,扩展战略导致同质化竞争[53][99] - 随着AI能力增强,公司将更注重安全合作,行为模式将发生变化[74][75] - 未来可能出现专业化竞争,不同公司在不同经济领域占据优势[94] 研究哲学与方法 - 优秀研究依靠"自上而下"的信念,追求美、简单性和对生物学的正确借鉴[22] - 当实验数据与直觉相悖时,基于美的信念能支撑研究者继续寻找问题根源[22] - 真正的突破性研究不一定需要最大算力,Transformer等关键突破都是在相对有限算力下实现的[54][55]