有趣的是，人工智能正通过不断演进的注意力机制，变得更专注、更目标导向、更具长期思维；而人类却在汹涌的生成式内容中愈发迷失，变得迷茫、割裂，碎 片化。 之所以会出现这种差异，本质上是因为 AI 和人类的注意力机制截然不同。 信息越密集，对注意力的要求就越高，能耗也越大。然而，AI 消耗的是算力，可以通过增加计算单元做加法；人类消耗的则是心力，只能靠聚焦与克制做减法。 前者容易，后者难。 自从那篇著名的论文《Attention is All You Need》问世以来，Transformer 架构不仅首次赋予了机器 Attention、推动了 AI 技术的飞跃，也进一步促进了人类对注意 力机制的研究，促使我们以全新的视角重新审视自身对信息的感知与理解。 特别是随着世界运转速度的加快，保持专注和收拢注意力变得越来越困难。我们的注意力机制正在逐渐失效，甚至崩溃，导致许多人失去了独立判断的能力。 结果是，世界的分化程度日益加剧。 这种分化在社会的各个层面都有所体现，包括宏观的地缘政治、中观的贫富差距，以及微观的夫妻关系。 过去，人们能够在面对波动时进行独立判断，之后形成共识，然后携手共渡难关，形成「你好我也好，你差我也 ...

理想VLA与DeepSeek MoE技术类比 - VLA和MoE均为首次完整落地到新领域并取得良好结果 均包含大量创新 但两者在具体实现方式上存在显著差异 [2] - DeepSeek MoE通过细粒度专家划分将单个专家隐藏层维度缩小至1/4 专家数量增至4倍 使激活组合可能性从120种提升至44亿种量级 [2] - 采用共享专家隔离机制 设置占总专家数1/8的固定共享专家处理公共知识 显著减少不同专家间的知识冗余 [2] 理想VLA核心技术突破 - 需攻克6大关键技术点：MindVLA设计/训练流程 3D空间理解能力获取 驾驶知识语言模型构建 Diffusion融合 车端实时推理实现 [4] - 3D高斯技术通过RGB图像自监督训练 实现多尺度几何表达与丰富语义承载 为3D表征提供核心支持 [4] - 基座模型采用MoE架构和稀疏注意力机制 在扩容参数量的同时控制推理负担 训练数据配比优化减少文史类数据 增加3D及自动驾驶图文数据 [6][7] 模型训练与推理优化 - 引入未来帧预测和稠密深度预测任务 通过快慢思考双系统设计（快思考直接输出action token 慢思考采用固定简短CoT模板）提升实时性 [8] - 创新并行解码机制：语言逻辑采用因果注意力逐字输出 action token通过双向注意力一次性全输出 [8] - 使用小词表和投机推理技术 使CoT效率提升44亿倍量级 实现参数规模与推理性能平衡 [8] Diffusion技术应用 - 将action token解码为驾驶轨迹 同步生成自车轨迹与周边交通参与者轨迹 复杂环境博弈能力提升120% [9] - 采用多层Dit结构支持条件输入改变生成结果（如"开快点"指令响应） 类比图像多风格生成技术 [10] - 使用ODE采样器将Diffusion生成步骤压缩至2-3步 解决传统方法效率低下问题 [11] 强化学习突破 - 构建端到端可训架构 解决早期强化学习中信息传递低效问题 [12] - 通过多视角噪声训练生成模型 联合3D重建优化 创建真实度达标的训练环境 场景建设效率提升20倍 [12] 技术路线演进 - V10-11阶段确实跟随特斯拉技术路线 但V12后自主创新比例显著提升 仅在快系统部分保留特斯拉框架 [13][14] - 慢系统为完全自主创新 特斯拉未涉及该领域 整体技术路线类比"增程式"方案：在算力/数据资源不足条件下实现可用性 [14] - VLM到VLA的演进为公司独立提出的技术路径 非跟随策略 获王兴评价为"真正实现Think Different"的典型案例 [15]

一水 发自 凹非寺 量子位 | 公众号 QbitAI 曾撼动Transformer统治地位的Mamba作者之一 Tri Dao ，刚刚带来新作—— 提出两种专为推理"量身定制"的注意力机制。 在保持模型性能不变的情况下，将解码速度和吞吐量最高提升2倍，大大优化了模型的长上下文推理能力。 这项研究的三位作者均来自普林斯顿大学，论文主要有两大贡献： 其一，提出Grouped-Tied Attention（GTA） ，与已集成到LLaMA 3的注意力机制GQA质量相当，但KV缓存用量减少约50%。 其二，提出Grouped Latent Attention（GLA） ，与DeepSeek所使用的注意力机制MLA质量匹配，但解码速度更快，某些情况下比 FlashMLA快2倍。 按照作者之一Ted Zadouri的总结： GTA是GQA的有效替代品，而GLA是MLA的实用替代品。 一言以蔽之，通过优化注意力机制的 内存使用 和 计算逻辑 ，在不牺牲模型生成质量的前提下，可显著提升大语言模型的推理效率和硬件资 源利用率，尤其在长上下文场景中优势更为突出。 相关论文公布后，一众研究者也赶来祝贺~ | Sara Hooker ...

一水 发自 凹非寺 量子位 | 公众号 QbitAI 曾撼动Transformer统治地位的Mamba作者之一 Tri Dao ，刚刚带来新作—— 提出两种专为推理"量身定制"的注意力机制。 在保持模型性能不变的情况下，将解码速度和吞吐量最高提升2倍，大大优化了模型的长上下文推理能力。 这项研究的三位作者均来自普林斯顿大学，论文主要有两大贡献： 其一，提出Grouped-Tied Attention（GTA） ，与已集成到LLaMA 3的注意力机制GQA质量相当，但KV缓存用量减少约50%。 其二，提出Grouped Latent Attention（GLA） ，与DeepSeek所使用的注意力机制MLA质量匹配，但解码速度更快，某些情况下比 FlashMLA快2倍。 按照作者之一Ted Zadouri的总结： GTA是GQA的有效替代品，而GLA是MLA的实用替代品。 一言以蔽之，通过优化注意力机制的 内存使用 和 计算逻辑 ，在不牺牲模型生成质量的前提下，可显著提升大语言模型的推理效率和硬件资 源利用率，尤其在长上下文场景中优势更为突出。 相关论文公布后，一众研究者也赶来祝贺~ | Sara Hooker ...

本文作者主要来自 Meta 和多所美国高校。第一作者是佐治亚理工机器学习专业的博士生赖柏霖（目前也是 UIUC 的访问学生），导师为 James Rehg 教授（已转 入 UIUC），主要研究方向是多模态学习、生成模型和视频理解，并在 CVPR、ECCV、ACL 等会议发表相关论文。本文工作是赖柏霖在 Meta 的 GenAI 部门实 习时完成。 例如：我们需要模型将一辆普通的汽车变换为兰博基尼，如果训练集中没有包含类似的数据，模型很难仅通过「兰博基尼」四个字推断出其对应的形状、纹理等 视觉特征，同时兰博基尼的特征也很难通过语言来详尽地描述。如今网络的快速普及导致大量新的概念不断涌现，这些没有被包含在训练数据中的新概念对于目 前图像编辑模型的泛化能力是个很大的挑战。 为了解决这一难题，一个直接有效的方法是在文字指令的基础上额外提供一组或多组变换前后的图片作为样例，让模型从中学习用户想要的图像变换，即 few-shot 图像编辑。目前已有的模型都是基于扩散模型开发，然而从图片样例中学习潜在的图像变换需要模型有很强的推理能力，扩散模型生成能力很强但推理能力依然 较弱。 相反地，自回归模型（autoregressi ...

研究背景与核心创新 - 研究结合状态空间模型(SSM)、扩散模型和世界模型等前沿技术，开发出新型视频世界模型，实现长期记忆与空间一致性的平衡 [1][9] - 传统视频扩散模型受限于注意力机制，难以维持长期一致性，导致环境模拟失真 [3][4][6] - 创新点在于采用Mamba的逐块扫描方案，配合局部注意力机制，显著提升长期记忆能力同时保持计算效率 [9][15][16] 技术架构设计 - 采用空间主/时间次的token排序方式，确保因果约束并防止未来信息泄露 [11] - 提出逐块重新排序方法：将token序列分解为(b_h,b_w,T)块，通过调整块大小平衡时间相关性与空间一致性 [13][15] - 引入帧局部注意力模块，采用窗口大小为k的因果注意力机制增强短期一致性 [16] - 动作条件处理：通过MLP处理连续动作值，直接学习离散动作嵌入实现交互控制 [17] 训练与推理优化 - 改进训练方案：保持随机长度前缀完全无噪声，强制模型学习长期依赖性 [18] - 推理阶段仅需维护前k帧KV缓存和块SSM状态，实现恒定内存占用和生成速度 [21] - 训练成本随上下文长度线性增长，显著优于传统二次复杂度模型 [39] 实验性能表现 Memory Maze数据集 - 检索任务(400帧)：SSIM达0.898，显著优于Mamba2(0.747)和因果Transformer(0.829) [25] - 推理任务(224帧)：SSIM达0.855，优于所有次二次模型 [26] - 长期记忆能力与全上下文因果Transformer(SSIM 0.914)接近 [25][27] TECO Minecraft数据集 - 推理任务(50帧)：SSIM达0.454，优于DFoT(0.450)和25帧上下文因果Transformer(0.417) [33] - 能准确预测已探索区域，而有限上下文模型失效 [36] 效率优势 - 训练时间线性扩展，推理保持恒定内存和计算成本 [39] - 单次前向传递速度显著快于全注意力机制 [39]

研究亮点 极大值如何影响模型性能 当我们谈论大型语言模型的理解能力时，通常将其知识分为两类：参数知识（存储在模型权重中的事实和信息）和上下文知识（从当前输入文本中获取的信 息）。本研究通过一系列精心设计的实验，揭示了自注意力模块中极大值的存在与上下文知识理解之间的关键联系。 大型语言模型（LLMs）在上下文知识理解方面取得了令人瞩目的成功。 近日，一项来自 ICML 2025 的新研究《Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding》揭示了大型语言模型中一个重要 现象：在注意力机制的查询 (Q) 和键 (K) 表示中存在非常集中的极大值，而在值 (V) 表示中却没有这种模式。这一现象在使用旋转位置编码 (RoPE) 的现代 Transformer 模型中普遍存在，对我们理解 LLM 内部工作机制具有重要意义。 本研究由罗格斯大学张永锋教授的团队完成，一作为金明宇，罗格斯大学博士生，在 ACL、ICML 、AAAI 、NAACL 、COLM 、ICLR 、EMNLP 、COLIN ...

Vamba团队 投稿 量子位 | 公众号 QbitAI Mamba混合架构视频模型来了，不再对视频token进行压缩—— 而是通过改进模型架构设计的方式提升模型在训练及推理预填充阶段处理视频token的效率。 滑铁卢大学陈文虎团队与多伦多大学、零一万物、向量学院以及M-A-P的研究人员提出了一种新的Mamba-Transformer混合模型Vamba。 通过大量实验验证，研究团队发现Vamba在同等硬件条件下可处理的视频帧数较传统Transformer架构提升4倍，训练内存消耗降低50%以 上，并且可实现单步训练速度的翻倍。 同时，该方法完整保留了原始视频的时空特征，避免传统方法因降采样或池化操作导致的关键动作或场景的信息丢失。 在多个长视频的评价标准上，Vamba保持了高准确率和出色的性能，尤其在LVBench长视频理解基准上相较先前的高效长视频理解模型达到 了约4.3%的性能提升。团队现已开源Vamba模型的代码、模型权重以及训练、推理脚本供研究社区进一步探索与应用。 核心方法 目前流行的多模态大语言模型多使用Transformer作为模型的基本结构，其中的因果注意力机制相对于输入的token序列长度存在 ...

以下文章来源于衣公子的剑 ，作者衣公子 衣公子的剑 . 以文会友，做爱读的商业科普。前在国际知名咨询公司，后在国内头部金融机构，现在做战略咨询&精 品投行。 本文来自微信公众号： 衣公子的剑 ，作者：衣公子，题图来自：视觉中国 一、悔创英伟达 身处硅谷的英伟达，一直奉行不输中国同行的996。黄仁勋很少解雇员工 （和马斯克比） ，但是对员工的 言语辱骂、公开羞辱，是出名的恶毒。在英伟达，项目失败，就有"公开处决"。上百高管靠墙站，负责人站 出来，解释每个出错的环节，接受黄仁勋严厉刻薄的分析。一连几小时，所有人不许走。气氛浓烈，黄仁 勋放声怒吼，"你工资领了多少？"、"全部退回来！" 员工评价，和黄仁勋相处，就像"把手放进插座"。 对内如此，对外就更狠了。 英伟达擅长挖角，大量投奔而来的工程师，"带来"创意。S3、硅图、3dfx、Matrox纷纷提起诉讼，指控英伟 达诱导员工违反保密协议，侵犯专利。后来，三家接受和解，而英伟达最大的竞争对手3dfx拒绝和解，要诉 讼到底。关键时刻，3dfx的财报亏损，电话会透露本季亏损1亿美元。 仅仅一个小时后，英伟达宣布对3dfx反诉，指控3dfx侵犯多项英伟达专利。 英伟达这 ...

"从开源论文、开源代码出发，现在已经进化到开源思维链了嘛！" 文丨Andrew Lu 注释丨贺乾明 程曼祺 2 月 18 日，Kimi 和 DeepSeek 同一天发布新进展，分别是 MoBA 和 NSA，二者都是对 "注意力机 制"（Attention Mechanism）的改进。 今天，MoBA 的一位主要研发同学 Andrew Lu 在知乎发帖，自述研发过程的三次踩坑，他称为 "三入思过 崖"。他在知乎的签名是"新晋 LLM 训练师"。 这条回答下的一个评论是："从开源论文、开源代码出发，现在已经进化到开源思维链了嘛。" 注意力机制之所以重要，是因为它是当前大语言模型（LLM）的核心机制。回到 2017 年 6 月那篇开启 LLM 革命的 Transformer 八子论文，标题就是：Attention Is All You Need（注意力就是你所需要的一 切），该论文被引用次数至今已达 15.3 万。 注意力机制能让 AI 模型像人类一样，知道在处理信息时该 "重点关注" 什么、"忽略" 什么，抓住信息中最 关键的部分。 在大模型的训练阶段和使用（推理）阶段，注意力机制都会发挥作用。它的大致工作原理是 ...