Workflow
对话香港大学马毅:“如果相信只靠 Scaling Laws 就能实现 AGI,你该改行了”
晚点LatePost·2024-06-04 18:05

马毅的学术观点与研究方向 - 马毅认为当前AI大模型仅实现局部记忆功能,本质是数据压缩而非真正智能,知识不等于智能,智能应能自我纠正和发现新知识[4][5][51] - 反对Scaling Laws路线,认为单纯扩大数据、算力和参数规模无法实现AGI,现有模型依赖记忆和统计而非因果推理[16][17][22] - 提出智能的简约与自洽原则:规律表达需简洁高效(简约),预测需与外部世界一致(自洽),引用爱因斯坦名言作为理论依据[52][53][54] 白盒大模型技术路径 - 团队开发白盒框架CRATE,用数学解释深度学习网络的压缩过程,目标提升效率并超越黑盒模型[33][34][35] - CRATE在同等参数下性能接近ViT(如CRATE-L参数77.64M,ImageNet-1K准确率71.3%,ViT-S参数22.05M准确率72.4%),新版本CRATE-α通过编码优化已媲美ViT[41][43][47] - 白盒模型可降低试错成本,训练资源仅为经验方法的1/3-1/4,算子更稳定且可解释[38][39][49] 行业现状与批判 - AI行业存在同质化问题,过度追逐Scaling Laws导致研究趋同,国内投入规模大但创新不足[19][21][22] - 批评AI威胁论是"无知或别有目的",指出当前模型无自主意识,危险论调可能阻碍创新[26][28][29] - 工业界更关注实用效果而非理论突破,学界与工业界算力差距加剧模型效果分化[8][9][10] 商业化与教育实践 - 创立忆生科技推动白盒路线产业化,公司定位"下一代智能系统",聚焦完整记忆和闭环学习[83][84][85] - 在香港大学设计AI通识课程,面向所有专业学生教授计算思想,强调正确理解AI基础[81][82] - 认为资源应投向有创造力的年轻人,中国需建立支持年轻团队的创新机制[94][95][96] 历史视角与跨学科启发 - 梳理AI历史发现理论重复现象,如去噪扩散模型本质是250年前的拉普拉斯方法[69][70] - 借鉴神经科学发现,猴子大脑的低维编码与白盒压缩结构相似,闭环反馈机制受生物智能启发[70][71][72] - 区分科学家与工程师思维,前者追求必要性(简约),后者接受冗余(经验试错)[73][74][75]