Workflow
认知核心
icon
搜索文档
OpenAI元老Karpathy 泼了盆冷水:智能体离“能干活”,还差十年
36氪· 2025-10-21 20:42
智能体发展时间框架 - 智能体距离真正成熟还需要十年时间,而非明年爆发 [2] - 当前智能体如Claude、Codex尚不成熟,缺乏多模态能力、持续学习能力和完整认知结构,无法胜任实际工作 [2] - 智能体发展的核心瓶颈在于认知组件不完整,需要系统性工程突破而非单纯计算力提升 [2] AI训练范式与架构革新 - 强化学习存在根本缺陷,其试错学习机制与人类学习方式背道而驰 [11] - 未来AI的关键方向是去知识化,保留核心算法让模型具备自我成长能力 [4] - 需要重建认知结构,当前Transformer仅相当于大脑皮层,缺乏情绪、空间记忆等关键组件 [4] - 真正的智能体需要突破上下文窗口限制,构建长期记忆系统 [4] - 未来认知核心可能仅需十亿参数,关键在于从低质量数据中提取高质量认知结构 [34][35][36] 代码生成能力现状 - 大语言模型在代码生成上存在显著认知缺陷,远未达到自动化AI工程程度 [6] - 模型在结构化、精细化工程设计上表现无力,容易产生幻觉 [7] - LLM训练于常规代码,倾向于防御性编程,无法理解用户架构意图 [7] - 模型有效应用场景包括语言翻译、非关键任务编程和自动补全加速 [9] - 当前LLM编程工具是连续演化的结果,而非突破性革命 [10] AGI落地路径与经济影响 - AGI定义为能完成任何经济价值任务且不逊于人类的系统,但首先应用于数字知识型工作 [38] - AGI将渐进式嵌入经济,不会瞬间颠覆世界,预计占GDP的2% [39][50] - 未来工作模式将是80%由Agent执行加20%人类监督的滑动式自主性 [40] - 代码是LLM最理想的落地沙盒,因其高度结构化、基础设施完备且经济回报明确 [42][43][44] - 部署路径从最结构化任务开始,逐步向上下游迁移,最终重构工作定义 [48][49] 人类学习机制与AI启示 - 人类学习通过思考、发问和讨论构建结构性理解,而非简单预测下一个token [22] - 模型存在悄无声息的崩溃现象,缺乏认知多样性,丧失探索能力 [26] - 做梦可能是进化出的反过拟合机制,通过随机游走维持认知灵活性 [28][29] - 人类记忆差是学习能力的前提,迫使抽象和模式提取,而模型记忆过多缺乏抽象 [32] - 未来AI需要构建梦境机制维持高熵状态,避免陷入死亡回路 [30][31] 自动驾驶技术挑战 - 自动驾驶是不能出错的AI任务,需要将错误概率压到接近零,而非功能完善80%就能上线 [59] - 当前最大障碍是常识推理,涉及社会理解而不仅是计算机视觉任务 [60] - 大语言模型是概率引擎而非保障引擎,不能承诺永远不出错 [61] - 自动驾驶需要全社会协同系统,包括监管、基础设施和伦理判断 [61] - 落地过程将是缓慢、渐进、区域化的系统替代,从高速公路物流开始扩展 [62][63] 智能演化与文化传承 - 人类智能是极端罕见的生物现象,智能不是演化必然终点 [51][52] - 人类独特性在于通过语言、模仿和教育跨代复制知识,绕开基因瓶颈 [53][54][56] - AI训练是为了让其成为文化的下一个节点,扩展文明操作系统 [57][58] - 文化复制可在一天内完成更新,相比基因演化的百万年是一大捷径 [55]
Karpathy 回应争议:RL 不是真的不行,Agent 还需要十年的预测其实很乐观
Founder Park· 2025-10-20 20:45
AGI发展时间线 - AGI实现仍需约十年时间,与硅谷AI圈普遍乐观情绪相比预测保守5-10倍[10] - 2025年可能是智能体元年,但接下来的十年都将属于"智能体时代"[10] - 当前LLM虽取得巨大进展,但距离实现"在任意岗位都比人类更值得雇佣"的实体仍有大量基础工作需完成[11][12] LLM认知缺陷与改进方向 - 当前LLM过度依赖记忆,人类记忆能力差反而可能是有益的正则化特性[19][70] - 模型需要先变大以承载能力,再通过架构、训练范式和数据蒸馏向更小、更专注的认知内核收敛[19] - 未来认知核心可能精简至十亿参数级别,专注于思考算法而非记忆知识[76][78] 强化学习局限性 - 强化学习像"通过吸管获取监督信号",信号/计算量比非常糟糕[15] - RL过程噪声大,信噪比低且易受干扰,正确步骤可能被抑制而错误步骤可能被鼓励[15] - 未来可能出现替代学习范式,智能体交互和系统提示学习是更有前景的方向[15] 智能体发展现状 - 当前智能体存在认知缺陷,缺乏多模态能力、持续学习能力和计算机操作能力[23] - 过度追求完全自主智能体可能导致软件质量下降、漏洞增多和安全风险[20] - 更现实的协作模式是LLM分块工作,解释代码,证明正确性,在不确定时与人类协作[20] 训练范式演进 - 完整训练流程包含基础模型自动补全、指令微调和强化学习三个层次,但需要第四、五层等新机制[16][18] - 预训练通过预测互联网下一个token来"预装"智能,类似于糟糕的进化过程[13][31] - 动物通过进化预装大量智能,与LLM训练方式存在本质区别[13][28] 技术发展路径 - AI发展是计算的延伸,所有方面包括算法、数据、硬件都需要全面改进[42][43] - Transformer架构可能持续存在,但会有更多注意力机制和稀疏MLP等改进[42] - 数据集质量将大幅提升,当前互联网训练数据包含大量垃圾内容[77][82] 经济影响 - AGI定义是可完成任何具有经济价值任务且性能达到或超过人类的系统[85] - 知识型工作约占经济10%-20%,是AI替代的首要目标[86] - 呼叫中心等标准化任务可能最先实现80%自动化,人类负责监督和剩余20%工作[87]