AGI发展时间线 - AGI实现仍需约十年时间，与硅谷AI圈普遍乐观情绪相比预测保守5-10倍[10] - 2025年可能是智能体元年，但接下来的十年都将属于"智能体时代"[10] - 当前LLM虽取得巨大进展，但距离实现"在任意岗位都比人类更值得雇佣"的实体仍有大量基础工作需完成[11][12] LLM认知缺陷与改进方向 - 当前LLM过度依赖记忆，人类记忆能力差反而可能是有益的正则化特性[19][70] - 模型需要先变大以承载能力，再通过架构、训练范式和数据蒸馏向更小、更专注的认知内核收敛[19] - 未来认知核心可能精简至十亿参数级别，专注于思考算法而非记忆知识[76][78] 强化学习局限性 - 强化学习像"通过吸管获取监督信号"，信号/计算量比非常糟糕[15] - RL过程噪声大，信噪比低且易受干扰，正确步骤可能被抑制而错误步骤可能被鼓励[15] - 未来可能出现替代学习范式，智能体交互和系统提示学习是更有前景的方向[15] 智能体发展现状 - 当前智能体存在认知缺陷，缺乏多模态能力、持续学习能力和计算机操作能力[23] - 过度追求完全自主智能体可能导致软件质量下降、漏洞增多和安全风险[20] - 更现实的协作模式是LLM分块工作，解释代码，证明正确性，在不确定时与人类协作[20] 训练范式演进 - 完整训练流程包含基础模型自动补全、指令微调和强化学习三个层次，但需要第四、五层等新机制[16][18] - 预训练通过预测互联网下一个token来"预装"智能，类似于糟糕的进化过程[13][31] - 动物通过进化预装大量智能，与LLM训练方式存在本质区别[13][28] 技术发展路径 - AI发展是计算的延伸，所有方面包括算法、数据、硬件都需要全面改进[42][43] - Transformer架构可能持续存在，但会有更多注意力机制和稀疏MLP等改进[42] - 数据集质量将大幅提升，当前互联网训练数据包含大量垃圾内容[77][82] 经济影响 - AGI定义是可完成任何具有经济价值任务且性能达到或超过人类的系统[85] - 知识型工作约占经济10%-20%，是AI替代的首要目标[86] - 呼叫中心等标准化任务可能最先实现80%自动化，人类负责监督和剩余20%工作[87]