人工智能发展现状与挑战 - 当前大语言模型(LLM)已展现AGI的形式能力，能处理支离破碎或口语化语句并生成标准回复，但缺乏持续学习能力，训练后知识库即冻结[3][5] - LLM仅模仿大脑语言功能，缺失感知、记忆、导航等关键认知维度，被比喻为"瑞士军刀中的单一螺丝锥"[6] - OpenAI的GPT模型推测采用16个神经网络模块协同工作，2023年Mistral和Deepseek发布的混合专家模型(MoE)通过模块化提升计算效率[7] 模块化架构与技术突破 - 模块化系统面临协调难题，信息跨模块传递机制尚不明确，训练中可能出现"鸡与蛋悖论"导致崩溃[7][12] - 软注意力机制通过连续权重分配实现选择性聚焦，成为Transformer架构核心创新，但需避免硬性选择导致的训练中断[17][18] - 生成流网络引入周期性硬选择机制，采用双向训练解决突变节点问题，其高阶表征与人类神经活动高度相似[19] 全局工作空间理论应用 - 全局工作空间理论(GWT)认为意识是模块间信息交换平台，类似企业会议协调多模块协作[9][11] - 迪昂团队发现大脑模块每0.1秒进行信息竞赛，获胜信息进入全局工作空间接受集体审议[11] - Meta杨立昆提出判别式网络构建抽象表征，其配置器机制与GWT工作空间功能高度吻合[27][28] 跨模态与翻译技术 - 潜空间对齐技术通过旋转不同语言的词云实现无词典翻译，可拓展至图像-文本多模态转换[24][25] - 谷歌感知器模型将多模态数据融合至统一潜空间，自发呈现GWT核心特征如模块筛选与工作记忆[25] 意识本质的学术争议 - 迪昂认为具备自我监控的AI系统可能产生意识，而GWT创始人巴尔斯强调意识是生命体特有属性[30] - 预测加工理论主张意识源于未来事件预测模型，整合信息理论则将意识归因于生物网络结构效率[31] - 行业共识认为智慧是多元能力组合，需融合抽象思维、社会理解等模块才能实现真正类人智能[32]

机器之心报道 编辑：张倩 这篇论文包含了当前 LLM 的许多要素，十年后的今天或许仍值得一读。 发布于 2017 年的 Transformer 论文——「Attention is all you need」被引量已经超过 17 万，成为这轮 AI 技术革命的标志性论文。 来自 Jeff Dean 的演讲幻灯片 同时，也有一些论文的光芒被它掩盖，比如发布于 2015 年的「End-To-End Memory Networks」。 论文一作、Meta 研究科学家 Sainbayar Sukhbaatar 在最近的一则推文中说道「 回顾过去，这 篇论文包含了当前 大型语言模型的许多要素 。我们的模型是首个完全 用注意力机制替代 RNN 的语言模型；它引入了带键值投影的点积软注意力机制，堆叠了多层注意力，使模型能关注输入的不同部分；它还引入位置嵌入来解决注 意力机制中的顺序不变性问题……」 虽然这篇论文比《Attention is all you need》还早两年，但它并没有受到应有的关注，被引量只有 3000 多。 作者提到，这篇论文是对 Facebook AI 研究院 2014 年的一篇论文——「Memory ...

嘉宾 丨 肖朝军、傅天予 整理 丨 程曼祺 上周，DeepSeek、Kimi 都放出了新的大模型架构改进和优化成果，分别是 NSA、MoBA。二者都聚焦对大 模型中 "注意力机制" 的改进。 o 1 、 R 1 等 推 理 模 型 的 出 现，给 了 长 文 本 新 课 题 。 注意力机制是当前大语言模型（LLM）的核心机制。2017 年 6 月那篇开启大语言模型革命的 Transformer 八 子论文，标题就是：Attention Is All You Need（注意力就是你所需要的一切）。 而优化 Attention 的计算效率和效果，又能帮助解决 AI 学界和业界都非常关心的一个问题，就是长文本（long context）。 不管是要一次输入一整本书，让模型能帮我们提炼、理解；还是在生成现在 o1、R1 这类模型需要的长思维 链；又或者是希望模型未来能有越来越长的 "记忆"，这都需要长文本能力的支持。 这期节目我们邀请了两位做过 Attention 机制改进的 AI 研究者做嘉宾。 一位是清华计算机系自然语言处理实验室的博士生肖朝军，他是 InfLLM 注意力机制改进的一作，导师是清华 计算机系副教授 ...