文章核心观点 - 多位AI领域顶尖专家和学者认为，当前主导AI发展的Transformer架构存在根本性局限，无法支撑下一代智能体（Agent）和通用人工智能（AGI）的发展，行业正从依赖算力与数据规模扩张的“规模化时代”，回归到底层创新的“研究时代”[1][11][15] Transformer架构的成就与当前地位 - 自2017年Google论文《Attention Is All You Need》提出后，Transformer架构凭借其自注意力机制和并行计算能力，成为过去七年AI模型（如BERT、GPT系列、DeepSeek）的基石，并推动了以英伟达GPU和Scaling Law为核心的AI浪潮[2][3] - 该架构与GPU的结合被比喻为“内燃机遇上了石油”，直接引爆了第三次工业革命级的人工智能浪潮[3] 专家对Transformer局限性的批判 - 缺乏因果推理与物理理解：Transformer本质上是基于海量数据的概率预测（下一个Token预测），擅长发现统计相关性，但无法理解背后的因果逻辑和物理规律[4][5] - 类比为死记硬背的优等生：前OpenAI联合创始人Ilya Sutskever比喻当前模型像练习了一万小时、背下所有考题的学生，缺乏真正的泛化能力和深刻直觉，遇到新领域表现会大打折扣[4][5] - 长上下文处理存在“退化”问题：阶跃星辰张祥雨指出，当前Transformer模型在处理长文本（如超过8万个Token）时，智商（性能）会快速下降，因为其信息流单向、思考深度固定，无法进行“慢思考”[6] - 视觉与物理世界的理解无力：李飞飞指出，仅靠语言不足以构建AGI，将预测下一个词移植为预测下一帧视频的方法，导致生成的视频缺乏时空一致性[8] - 样本效率低下：相比人类依靠先验知识和本能快速学习（如十几小时学会开车），AI需要海量数据训练，试图通过穷举数据来掩盖对物理规律认知的匮乏[9][10] 对未来AI架构发展的展望 - 行业进入“研究时代”：Ilya Sutskever判断，行业正告别“规模化时代”（2020-2025），重新回到注重底层创新的“研究时代”（2012-2020），利用现有巨大算力寻找新配方[11] - 新架构将是系统性重构：未来架构可能是一种混合体，内核是高度抽象的因果逻辑，接口是丰富的感官世界[12] - 具体技术方向：包括李飞飞World Labs致力于构建具有“空间智能”的模型；张祥雨透露了“非线性RNN”方向，支持内部循环、反刍和推理；以及发展更高效的强化学习范式，让AI具备持续学习和内部价值函数[12] - 新架构需要新的数据与硬件：视频数据、物理世界传感器数据、机器人交互数据价值将重估；硬件基础设施可能面临洗牌，专用芯片或受挑战，通用GPU的灵活性可能再次成为优势[13][14] 对行业的影响与结论 - Transformer是一座丰碑但非终点，其在因果推理、物理理解和无限上下文上的缺陷，注定只是通往AGI道路上的垫脚石[15] - 未来五年，Transformer可能逐渐退居幕后成为子模块，一种融合空间智能、具身交互和深度逻辑推理的新架构将走上台前，这对科技公司既是巨大挑战也是难得机遇[15][16]