AI发展范式转变 - 当前主流的“预训练+规模化”路线已遇到瓶颈，行业需要重新关注研究范式本身的重构[1] - 预训练范式最大的优势在于数据量极其庞大且无需纠结数据选择，但最终会遇到数据有限的硬上限[30][51] - 规模化时代（2020-2025）正在转向新的科研时代，但此次拥有巨型计算机作为工具[52][53] 模型泛化能力问题 - 当前模型在评测表现与经济实际影响之间存在巨大落差，模型泛化能力远不如人类[14][17][56] - 模型需要比人类多得多的数据才能学会一项能力，且让模型理解任务目标比人类困难得多[58] - 人类在语言、数学、编程等近期才出现的能力上依然表现稳健，这可能源于人类学习机制本身的高效率[62][63] 训练方法效率 - 强化学习天生消耗大量算力，需要极长迭代过程且每次迭代学习增益很小[54] - 价值函数能让强化学习更高效，但当前强化学习训练方法简单，缺乏合适的机器学习类比[38][55] - 自博弈提供了一种仅依靠计算而非数据创建模型的方法，但传统形式适用范围狭窄[146] 行业竞争格局 - 规模化时代导致公司数量远超创意数量，所有公司都在做同一件事[70] - 真正用于纯研究的资源扣除产品推理服务后并没有想象中高，SSI资金绝大部分用于研究[77][78] - 未来可能出现多家公司同时训练类人学习智能体，在不同分支上展开搜索的局面[139][140] 技术发展方向 - 未来的超级智能更像是能够学习完成所有工作的“可成长心智”，而非掌握所有技能的成熟系统[91][92] - 关键问题是构建可靠的概括机制，这是当前最核心最棘手的问题[56][115] - 缺乏多样性主要来自预训练，差异更多出现在强化学习和后训练阶段[145] 经济影响预期 - AI将渗透进整个经济体系，带来非常强的经济动力，冲击会非常明显[12] - 广泛部署的AI可能引发经济快速增长，不同国家因监管尺度不同会出现增长差异[96][97] - 停滞情形下各公司状况可能非常相似，但仍可能获得惊人收入，只是利润不高[133]

当前AI发展范式转变 - AI发展正从"规模化时代"重新转向"科研时代"，主流"预训练+Scaling"路线已明显遇到瓶颈[1][3] - 行业过去几年普遍遵循"继续扩大"策略，但仅靠规模扩大100倍难以带来根本性转折[56][57] - 预训练最大优势在于数据量庞大且无需纠结数据选择，但最终会遇到数据有限的硬上限[33][55] 模型能力与泛化问题 - 当前模型在评测表现与经济实际影响之间存在巨大落差，模型泛化能力远不如人类[17][21][61] - 模型会出现反复犯同样错误的情况，如编程中在两个bug间来回切换[17] - 人类在语言、数学、编程等近期出现的能力上仍比模型更强，表明人类拥有更基础的通用学习能力[68][69] 训练方法演进 - 行业正从预训练规模化转向强化学习规模化，RL消耗的计算量可能已超过预训练[58] - 价值函数能让强化学习更高效，但当前强化学习训练方法简单且资源利用效率低[42][58] - 预训练数据包含人类各种活动经验，是"人类把世界投射到文本上的那一层"[33] 行业竞争格局 - 规模化时代导致公司数量远超创意数量，所有公司做同一件事挤压创新空间[76] - 真正用于纯研究的资源比外界想象少，大公司算力预算主要用于推理服务[81][84] - 未来可能出现多家公司同时拥有超级智能，技术路径和战略最终会趋同[132][136] 未来发展方向 - 关键突破在于解决模型泛化能力不足的核心问题，而非单纯扩大规模[61] - 持续学习能力比静态知识储备更重要，超级智能应是能够学习任何工作的"可成长心智"[94][95] - 构建"关爱有感知生命的AI"可能比只关心人类的AI更容易实现，因为AI本身也将具备感知能力[106][107]