机器之心编译 原文作者：Albert Gu 编辑：陈陈、杜伟 「Tokenization（分词）是 Transformer 模型为弥补自身缺陷不得不戴上的枷锁。」 近日，Mamba 作者、CMU 助理教授、Cartesia AI 首席科学家 Albert Gu 撰写了一篇新博客，探讨了状态空间模型（SSM）和 Transformer 之间的权衡，并提出了这 样一种观点。 这篇博客改编自 Albert Gu 过去一年来多次进行的一场演讲。虽然演讲内容通俗易懂，面向比较广泛的受众群体，但其中的一些有趣的见解、观点和原理阐释，相 信对专业研究者也不乏启发价值。 在社交媒体 X 上，Albert Gu 抛出了「tokens are bullshit」的观点，并预告了接下来要发布的重大架构进展。 图源： https://x.com/_albertgu/status/1942615020111876248 评论区的很多网友赞成 Albert Gu 的观点，认为移除 tokenization 会在计算效率方面带来积极影响。 状态空间模型 本文首先定义了什么是状态空间模型（State Space Model，SSM）。 1. ...