Workflow
Meta打碎Transformer 8年铁律,改写AI最底层规则,模型首次冒出潜意识
Meta PlatformsMeta Platforms(US:META) 36氪·2025-10-24 19:47

Meta推出「自由Transformer」(Free Transformer)新模型在AI架构领域引发社交媒体热议。 首次打破自2017年以来所有GPT模型的核心规则:不再是逐token盲猜式生成,而是在生成前能「预先思考」。 AI最底层规则要被改写,当模型先打腹稿再开口,AI还只是一只概率鹦鹉吗? Transformer可以说整个LLM的基石,但这个基石要松动了! 8年了!持续了8年的Transformer底层架构似乎要被Meta打破了。 论文地址:https://arxiv.org/pdf/2510.17558 研究者在解码器中引入了潜在随机变量Z,让模型在输出前进行内部采样与规划,相当于为Transformer增加了一层「潜意识」。 这一创新仅增加约3%的计算开销,却显著提升了模型在推理与结构化生成上的表现,在GSM8K、MMLU、HumanEval等测试中超越更大规模的模型。 Meta称,这可能是第一种「有内在意图」的Transformer。 用潜在随机变量打造机器「潜意识」 Meta在解码器中加入了潜在随机变量(Z)。 可以将其视为生成文本前的「潜意识层」,模型会采样内部选择来引导整个序列的风格或结 ...