作者介绍:本篇文章的作者团队来自美国四所知名高校：西北大学、乔治亚大学、新泽西理工学院和乔治梅森大学。第一作者 束东与共同第一作者吴烜圣、赵海燕分别是上述高校的博士生，长期致力于大语言模型的可解释性研究，致力于揭示其内部 机制与 "思维" 过程。通讯作者为新泽西理工学院的杜梦楠教授。 在 ChatGPT 等大语言模型（LLMs）席卷全球的今天，越来越多的研究者意识到：我们需要的不只是 "会说话" 的 LLM，更是 "能解释" 的 LLM。我们想知道，这些庞大的模型在接收输入之后， 到底是怎么 "思考" 的？ 为此，一种叫做 Sparse Autoencoder（简称 SAE） 的新兴技术正迅速崛起，成为当前最热门的 mechanistic interpretability（机 制可解释性） 路线之一。最近，我们撰写并发布了 第一篇系统性的 SAE 综述文章 ，对该领域的技术、演化和未来挑战做了 全面梳理，供关注大模型透明性、可控性和解释性的研究者参考。 论文题目： A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of ...