文章核心观点 - Meta公司提出名为Free Transformer的新架构，打破了自2017年以来GPT模型的核心规则 [4] - 新方法在解码器内部加入随机潜在变量，使模型在生成内容前能进行内部规划，类似于赋予模型“隐藏的心智” [4] - 在15亿和80亿参数模型上，该方法在代码生成、数学文字题和多选任务上取得明显性能提升 [6][27][31] 技术架构创新 - Free Transformer是一种新解码器Transformer扩展，使用无监督潜在变量来提高下游任务性能 [4] - 架构是在标准解码器结构的中间层注入噪声Z，允许与编码器共享一半的Transformer模块，显著减少计算开销 [9] - 编码器使用非因果结构和可学习的常数token嵌入，旨在捕捉序列全局特征，增强跨任务可迁移性 [14] - 通过二进制映射器将编码器输出的向量转化为独热向量表示，维度为2^H（H=16） [15][16] 实验验证与性能表现 - 在合成数据集上验证了模型确实利用潜在变量Z对生成过程进行条件化，不同KL散度值下模型表现出不同编码行为 [18][21] - 15亿参数模型在代码生成任务HumanEval+上最高提升55.56%（从0.055至0.085），数学推理任务GSM8K最高提升30.30%（从0.025至0.033） [26] - 80亿参数模型经过1万亿tokens训练后，在HumanEval+上提升11.36%（从0.268至0.299），MMLU提升5.20%（从0.592至0.623） [30][31] - 性能提升在需要推理能力的任务上尤为显著，包括代码生成、数学问题和多选常识问答 [27][31]