一水 发自 凹非寺 量子位 | 公众号 QbitAI Mamba一作最新大发长文！ 主题只有一个，即探讨两种主流序列模型—— 状态空间模型（SSMs）和Transformer模型的权衡之术 。 简单介绍下，Mamba就是一种典型的SSMs，它建立在更现代的适用于深度学习的结构化SSM基础上，与经典架构RNN有相似之处。 在最受关注的语言任务上，Mamba-3B超越同等规模的Transformer，与两倍大的Transformer匹敌，因此 被视为Transformer架构的有力挑 战者 。 现在，Mamba一作将自己去年的几场演讲整合成一篇科普长文，向大众分享了如下观点： 而且他还提前剧透， 几天后将发布"架构领域的下一个重大进展" 。 虽然还不知道具体内容，但他目前扔出来的消息已经足够大家抓耳挠腮一段时间了。 因为他提到了一个重要观点—— 注意力机制的缺点实际上并不是它的二次复杂度 。 要知道之前大家都认为，ChatGPT等大模型之所以处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 而现在，这样的共识或许即将被推翻~ 不过好消息是， 即将推出的新架构能够和Transf ...