Meta推出「自由Transformer」（Free Transformer）新模型在AI架构领域引发社交媒体热议。 首次打破自2017年以来所有GPT模型的核心规则：不再是逐token盲猜式生成，而是在生成前能「预先思考」。 AI最底层规则要被改写，当模型先打腹稿再开口，AI还只是一只概率鹦鹉吗？ Transformer可以说整个LLM的基石，但这个基石要松动了！ 8年了！持续了8年的Transformer底层架构似乎要被Meta打破了。 论文地址：https://arxiv.org/pdf/2510.17558 研究者在解码器中引入了潜在随机变量Z，让模型在输出前进行内部采样与规划，相当于为Transformer增加了一层「潜意识」。 这一创新仅增加约3%的计算开销，却显著提升了模型在推理与结构化生成上的表现，在GSM8K、MMLU、HumanEval等测试中超越更大规模的模型。 Meta称，这可能是第一种「有内在意图」的Transformer。 用潜在随机变量打造机器「潜意识」 Meta在解码器中加入了潜在随机变量(Z)。 可以将其视为生成文本前的「潜意识层」，模型会采样内部选择来引导整个序列的风格或结 ...

文章核心观点 - Meta公司提出名为Free Transformer的新架构，打破了自2017年以来GPT模型的核心规则 [4] - 新方法在解码器内部加入随机潜在变量，使模型在生成内容前能进行内部规划，类似于赋予模型“隐藏的心智” [4] - 在15亿和80亿参数模型上，该方法在代码生成、数学文字题和多选任务上取得明显性能提升 [6][27][31] 技术架构创新 - Free Transformer是一种新解码器Transformer扩展，使用无监督潜在变量来提高下游任务性能 [4] - 架构是在标准解码器结构的中间层注入噪声Z，允许与编码器共享一半的Transformer模块，显著减少计算开销 [9] - 编码器使用非因果结构和可学习的常数token嵌入，旨在捕捉序列全局特征，增强跨任务可迁移性 [14] - 通过二进制映射器将编码器输出的向量转化为独热向量表示，维度为2^H（H=16） [15][16] 实验验证与性能表现 - 在合成数据集上验证了模型确实利用潜在变量Z对生成过程进行条件化，不同KL散度值下模型表现出不同编码行为 [18][21] - 15亿参数模型在代码生成任务HumanEval+上最高提升55.56%（从0.055至0.085），数学推理任务GSM8K最高提升30.30%（从0.025至0.033） [26] - 80亿参数模型经过1万亿tokens训练后，在HumanEval+上提升11.36%（从0.268至0.299），MMLU提升5.20%（从0.592至0.623） [30][31] - 性能提升在需要推理能力的任务上尤为显著，包括代码生成、数学问题和多选常识问答 [27][31]