文 | 划重点KeyPoints，作者 | 李越 12月18日，2025腾讯ConTech大会暨腾讯科技Hi Tech Day正式播出，中国工程院院士、知名专家和学 者、头部科技企业创始人及知名投资人齐聚一堂，共同探讨智能时代的机遇与挑战。 原本能够带领我们通往AGI的Transformer，是否已经触碰到了天花板？ 只会做题的优等生 在2017年之前，AI自然语言处理（NLP）的主流方式还是RNN（循环神经网络）和LSTM（长短期记忆 网络）。它们处理信息的方式像一个勤恳的阅读者，必须按顺序一个字一个字地读，效率低下且难以捕 捉长距离的语义关联。 2017年，Google论文《Attention Is All You Need》横空出世，彻底改变了这一切。 Transformer架构抛弃了循环，引入了"自注意力机制"。它不再按顺序阅读，而是能同时关注句子中的所 有词，并计算它们之间的关联权重。 在圆桌论坛环节，当主持人把话筒递给阶跃星辰首席科学家张祥雨，询问关于模型架构未来时，这位学 术大牛抛出了一枚"深水炸弹"：现有的Transformer架构无法支撑下一代Agent。 而就在不久前，斯坦福大学教授、"A ...