文章核心观点 - 人工智能领域知名学者Yann LeCun在离职Meta前,公开批评当前以大语言模型为主导的AI发展路线,认为其无法通往通用人工智能,并宣布将创办一家专注于开源世界模型研究的新公司[1][2][4][8] LeCun对当前AI发展路径的批判 - 严厉批评仅通过扩展大语言模型和合成数据训练来实现超级智能的路径,认为这“完全是胡说八道”且“根本行不通”[2] - 认为大语言模型擅长处理离散的文本数据,但在处理高维、连续且嘈杂的现实世界数据如图像或视频时表现“完全糟糕”[29] - 断言仅靠训练文本数据,AI永远不可能达到人类智能水平[31] - 指出当前AI领域最难的问题是达到狗的智能水平,而非人类的智能水平[7][88] LeCun的创业计划与新公司AMI - 宣布将创办新公司Advanced Machine Intelligence,专注于世界模型的研究,并坚持开源路线[8][9][10] - 新公司AMI的终极目标是成为未来智能系统的主要供应商之一,不仅做研究,还会推出围绕世界模型和规划能力的实际产品[19] - 创业动机源于对Meta转向封闭和短期项目导向的不满,认为公开发表成果是做出有价值贡献的唯一途径[3][14][15][17] 世界模型的理论与优势 - 主张构建智能系统的正确方式是世界模型,其核心是预测和规划,让机器像婴儿一样通过观察世界来构建内在的可预测模型[20][35][37] - 世界模型的关键是在抽象的表示空间中进行预测,而非直接生成像素,这能消除不可预测的细节和噪声,实现更长期可靠的预测[38][41][42][43] - 提出通过联合嵌入预测架构在抽象表示空间中进行预测,并认为“LeJEPA+SIGReg”是训练抽象表示非常有前途的技术集合[44][77] - 通过数据对比强调现实世界数据的丰富性:LLM训练所需的约30万亿tokens文本数据,其信息量仅相当于约15000小时的视频,而这只是一个4岁孩子一生中接收的视觉信息总量,仅相当于YouTube半小时的上传量[32][33] 对Meta现状及FAIR未来的评价 - 指出Meta在领导层变更后正变得更加封闭,从开源先锋转向封闭,且FAIR更倾向于短期项目和为内部实验室提供支持[3][11][24] - 透露其离职后,FAIR将由Rob Fergus领导,内部减少了对论文发表的重视,标志着Meta长达十年的“学院派”研究黄金时代结束[24][26] - 澄清自己在Meta的继任者并非“亚历山大王”,后者职责更偏向整体运营管理[23] 对AGI及智能发展的看法 - 认为AGI的概念本身无意义,人类智能是高度专业化的,实现机器在人类擅长领域超越人类需要一个渐进的过程,而非突发事件[80][82][83] - 预测未来几年世界模型和规划能力可能取得概念性突破,为实现人类水平AI铺平道路,但仍需大量新的理论创新[84][85] - 强调实现狗的智能水平是比实现人类智能更难的挑战,因为那需要具备大量的基础理论,而在此基础上增加语言能力则相对容易[88][89] - 认为单靠LLM或单靠世界模型都无法实现真正的人类智能,需要多种研究的结合与长时间积累[90] LeCun的职业生涯与理念 - 其职业生涯的核心目标是提升人类智能,认为智能是世界上最稀缺的资源,因此拒绝退休并选择继续创业贡献[91][94][95] - 始终坚持开源的技术路径,认为科学的进步源于开放交流中思想的叠加延伸,如果不公开发表就算不上真正的研究[15][103] - 回顾职业生涯有遗憾,如曾想到反向传播算法的核心思路但未及发表,但认为好的想法是集体智慧的产物[99][102]
LeCun离职前的吐槽太猛了