自动驾驶技术交流平台 - 公司是国内领先的自动驾驶技术交流平台 专注于自动驾驶产业 学术与职场成长等领域 [1] - 平台提供技术交流群 涵盖大模型 端到端 VLA BEV感知 多模态感知等前沿技术方向 [1] - 交流范围包括感知 规划控制 仿真测试 硬件配置等自动驾驶全产业链环节 [1] - 平台面向企业 高校研究人员开放 需提供公司/学校 昵称和研究方向信息加入 [1]

Grok-4性能展示 - 成功通过六边形小球编程测试 展示对物理规律的理解能力 小球穿墙为设计者故意行为[2][3][4] - 动态生成"Hello World""I am grok"等文字及笑脸符号的复杂动画 体现高级模式识别与生成能力[6] - 在8项综合测试中全部通过 对比产品仅通过2项 优势体现在法律推理 代码翻译 安全测试等领域[12][15][16][18][20][23] 技术突破 - 处理未见过的学术论文时展现类AGI特质 获得Epic创始人Tim Sweeney认可 马斯克附议该观点[9][10][11] - 四轮对话内完成欧拉恒等式可视化网页开发 核心功能仅需两轮交互 显著提升数学概念传达效率[25][26][27][31] - 采用专家调度器(Expert Conductor)提示工程 模拟多领域专家协作环境 52秒内完成复杂任务[55][56][59][60][65] 多模态能力测试 - SVG绘图测试中 美国地图绘制优于部分竞品 避免区块重叠等基础错误[32] - 自主设计专辑封面时保持结构合理性 显著优于抽象化输出的竞品[40] - 三羧酸循环图示准确性不及竞品 但自画像创作体现独特想象力[44][46][50][53] 开发者生态反馈 - 提示词工程师通过对比测试验证其在法律 编程 教育等场景的实用性[12][16][20] - 开源社区积极开发新应用场景 包括宝可梦游戏等潜在方向[66] - Reddit等平台形成系统性评测体系 覆盖视觉推理 知识储备等维度[32][35][40][44]

状态空间模型与Transformer的权衡 - 状态空间模型(SSM)通过固定大小的隐藏状态压缩历史信息，实现流式处理，而Transformer需要缓存所有历史token导致内存线性增长[24] - SSM在字节级建模任务中表现优于Transformer，即使后者使用更多计算资源，表明Transformer存在建模能力局限[53][55][56] - SSM与Transformer结合使用时(比例3:1到10:1)表现更优，类似人类智能通过大脑与外部数据库协同工作[29][30] Transformer的局限性 - Transformer需要数据预处理如tokenization或图像切块，本质上是对其建模缺陷的补偿[35][38][41] - 注意力机制对噪声token处理效率低下，计算量仍随token增加而增长，无法有效过滤冗余信息[69][70] - Transformer的归纳偏置使其过度关注单个token，在低语义密度数据(如字符/DNA序列)上表现较差[62][64][65] 现代循环模型技术演进 - Mamba通过动态转移矩阵、并行扫描算法和内存管理三大技术要素整合，实现与Transformer相当的语言建模性能[13][14][16] - 现代循环模型研究呈现爆发式增长，包括RWKV、xLSTM等变体，共享SISO线性递归和状态扩展核心特征[17][19] - SSM类模型在DNA建模等任务中展现优于Transformer的扩展能力，预示其在处理原生数据方面的优势[60][61] 架构设计哲学 - SSM类似大脑的压缩记忆机制可能促进抽象学习，而Transformer类似数据库的精确召回各有利弊[27][78] - 理想架构应具备处理噪声能力而不增加计算负担，当前模型均未完全解决此问题[71][72] - 扩展定律显示Transformer并非计算效率最优方案，存在改进空间以更好利用FLOP资源[87][88]

循环模型与Transformer对比 - 线性循环模型（如Mamba）和线性注意力机制能处理极长序列，这是其相较于Transformer的关键优势，后者受限于二次计算复杂度和有限上下文窗口[1][2] - 过去循环模型在短序列任务中性能不如Transformer，但近期架构突破使其性能显著提升，已在音频建模、代码补全等工业场景中应用[3] 循环模型的长度泛化问题 - 循环模型在训练长度范围内表现良好，但超出训练长度时泛化能力明显下降，例如Mamba-2在超出训练范围的序列位置困惑度急剧恶化[4][5] - 现有循环模型在长序列和短序列两个维度均未显现明显优势，处于效率与性能的双重瓶颈[6] 长度泛化解决方案 - 通过500步后训练（占预训练预算0.1%）可使循环模型在256k长度序列实现泛化，证明其潜力未被充分释放[7] - 提出"未探索状态假说"：循环模型失败主因是训练时未接触长序列递推产生的状态分布，导致对未知状态处理能力不足[13][14][15] - 四种初始状态干预方法：随机噪声、拟合噪声、状态传递（SP）、TBTT，其中SP与TBTT效果最佳，仅需原始预训练预算0.02%即可实现泛化[19][20][23][24] 干预方法的效果验证 - 在370M参数模型中，拟合噪声干预有效但随机噪声无效；1.3B大模型因状态依赖复杂，需更高级干预手段[25][26] - 干预措施能稳定状态范数增长，提升模型输出稳定性[27] - 在BABILong、密码检索、合成复制三项长上下文任务中，干预后模型表现显著提升，780M模型可完美解决256k序列密码检索任务[31][32][33][35][36][38][39] 上下文处理机制优化 - 提出"有效记忆（EffRem）"指标量化模型对历史token的依赖程度，发现未干预模型对早期token存在不合理依赖[44][45][46][48][49][50] - 状态传递干预后，模型有效记忆曲线呈现理想梯度，优先关注最近上下文，符合自然语言处理需求[51][52]

技术突破 - Meta开发出新架构2-Simplicial Transformer，通过修改标准注意力机制，使Transformer能更高效利用训练数据，突破大模型发展的数据瓶颈[2] - 核心方法基于OpenAI提出的Triton，将标准点积注意力推广到三线性函数[3] - 在同等参数量和数据量下，新架构在数学、编程、推理等任务上表现优于传统Transformer，且缩放指数更高，意味着随着参数增加性能提升更快[4] 技术细节 - 新架构将点积注意力从二元线性操作扩展到三元线性操作，引入第三个向量K'增加模型对复杂模式的表达能力[6][7] - 通过三元线性函数计算注意力，公式为$$A_{i j k}^{(2\mathrm{s})}=\frac{\langle\mathbf{q}_{i},\mathbf{k}_{j},\mathbf{k}_{k}^{\prime}\rangle}{\sqrt{d}}=\frac{1}{\sqrt{d}}\sum_{l=1}^{d}Q_{i l}K_{j l}K_{k l}^{\prime},$$[9] - 使用OpenAI的Triton框架实现核心运算，达到520TFLOPS性能[11][12] - 引入滑动窗口机制降低计算成本同时保持性能[14] 实验结果 - 测试模型规模从活跃参数10亿/总参数570亿到活跃参数35亿/总参数1760亿不等[16] - 在小模型(1B)上改进有限，但在较大模型上表现显著优于传统Transformer[18][19] - 2-Simplicial Transformer的缩放指数α比传统Transformer高18.5%(GSM8k)、8.5%(MMLU)、20.2%(MMLU-pro)、6.8%(MBPP)[21] 行业影响 - Meta不仅挖走OpenAI员工，还成功应用OpenAI的技术实现新突破[27] - 新架构引发行业讨论，同时为OpenAI的Triton技术做了宣传[23][26]

DeepSeek MoE技术演进 - 核心观点：DeepSeek在MoE架构上持续创新，从V1到V3版本通过细粒度专家分割、共享专家隔离、负载均衡优化等技术手段提升模型性能 [15][16][36] MoE基础架构 - MoE包含三部分：专家网络(前馈网络)、门控网络(计算专家权重)、选择器(TopK策略) [7] - Google提出的Transformer MoE层设计：用MoE替换FFN层，通过门控值加权多个专家输出 [5] - 负载均衡辅助损失解决专家间token分配不均问题，防止少数专家过载 [6][8] DeepSeek V1创新 - 细粒度专家分割：分割FFN隐藏维度增加专家数量，提升知识分解精度 [16] - 共享专家隔离：设置常激活专家捕获共同知识，减少其他专家冗余 [16] - 双层级负载均衡：专家级(公式12-14)和设备级(公式15-17)负载loss [19][23] DeepSeek V2升级 - 设备受限路由机制：限制每个token的激活专家分布在≤3台设备，降低通信成本 [28] - 通信负载均衡loss：公式29-31确保设备间输入输出负载均衡 [30][32] - Token丢弃策略：超过设备容量的低权重token跳过计算，通过残差传递 [33][34] DeepSeek V3改进 - 门控函数升级：用Sigmoid替代Softmax，解决高维度专家(256个)权重区分度问题 [36][38][39] - 精简辅助损失：通过动态bias替代多层级负载loss，减少对主模型干扰 [40][41] - 序列级均衡loss：公式17-19在单样本粒度平衡专家分配 [42][43] 技术演进总结 - V1：建立共享专家+细粒度专家框架，引入双层级负载均衡 [44] - V2：优化通信效率，新增设备路由限制和通信均衡机制 [44] - V3：门控函数革新，负载均衡策略简化，支持更大规模专家 [44]

Transformer架构演进 - 2017年《Attention Is All You Need》论文提出Transformer架构，现引用量接近19万次，成为AI领域基础范式[1][2] - Transformer核心改进方向包括Multi-Token Attention和Multi-matrix Factorization Attention等新型注意力机制[2] - Meta最新研究提出旋转不变型三线性注意力机制，性能可改变Scaling Law系数[4] 2-simplicial Transformer技术突破 - 2-simplicial Transformer源自2019年研究，将点积注意力扩展为三线性形式[7][19] - 新型注意力机制通过三线性积构建三阶张量，计算复杂度为O(n^3)[22][23][35] - Meta采用滑动窗口参数化(O(n×w1×w2))降低计算负担，最优配置为w1=512,w2=32[32][37] Scaling Law理论框架 - 神经Scaling Law公式：L(N,D)=E+A/N^α+B/D^β，其中E为不可约损失[13][14] - Hoffmann等(2022)实验得出a≈0.49,b≈0.5，表明token数量需与模型规模同步扩展[15][17] - 2-simplicial Transformer展示更优参数扩展指数，token增长可慢于参数增长[10][50] 实验性能对比 - 在1B参数模型中，2-simplicial注意力使GSM8k和MBPP任务分别提升0.79%和0.88%[43] - 参数规模超过2B后，2-simplicial注意力优势减弱，3.5B模型在MMLU-pro任务下降2.15%[43][45] - 2-simplicial注意力斜率α更陡峭，显示其Scaling Law指数优于传统Transformer[49][50] 计算优化实现 - Meta使用Triton实现新型注意力机制，采用分组查询注意力(GQA)比率64提升计算效率[38] - 对比标准点积注意力(复杂度2n^2)，窗口化2-simplicial注意力复杂度为6πw1w2[33][35] - 引入在线softmax等核优化技术，延迟最优配置达55.1ms(16k窗口)[32][39]

核心观点 - 彩云科技与北京邮电大学联合提出多路动态稠密连接（MUDD）作为残差连接的替代方案，显著提升Transformer跨层信息传递效率 [1][7] - MUDD连接仅增加0.23%参数量和0.4%计算量，使2.8B参数模型性能媲美6.9B（2.4倍）和12B（4.2倍）参数模型 [4] - 该技术已被ICML 2025接收，是继DCFormer后又一底层架构创新 [5] 背景 - 当前Transformer残差连接存在深层隐状态表征坍塌和残差流信息过载两大局限 [7][8] - 表征坍塌导致深层模型边际效应递减，相邻层隐状态高度相似 [8] - 残差流作为多层通信总线易因多路信息共享而超载，妨碍复杂回路形成 [8] 核心架构 - MUDD通过动态搭建跨层连接缓解表征坍塌，并为Q/K/V/R四路信息流定制独立连接 [7][13] - 连接权重由当前隐状态动态生成，实现深度维度的单头注意力机制 [11] - 相比静态连接的DenseFormer，动态连接能根据token上下文自适应调整信息提取 [10][11] 实验评估 - MUDDFormer在所有模型尺寸下均显著领先基线模型，834M性能超越1.89倍计算量的Transformer++ [15] - 深度扩展实验中，MUDDFormer在42层时仍保持收益，797M参数达到2.08倍Transformer++性能 [17] - 2.8B参数MUDDPythia在5-shot任务中准确率追平12B参数Pythia，实现4.2倍计算效率提升 [18][20] 技术优势 - 注意力头激活率平均比传统模型高2.4倍，显著增强Attention机制利用率 [23] - 通过独立动态连接有效缓解信息流干扰和残流过载问题 [7][13] - 模型在上下文学习中展现突出优势，特别适合复杂推理任务 [18][20][25]

核心观点 - 国家集成电路设计自动化技术创新中心发布国内首个智能化标准单元自动建库工具iCell，标志着我国在电子设计自动化（EDA）领域取得重要进展 [1] - iCell工具为高端芯片设计提供自主可控的核心工具支撑，大幅提升设计效率 [1][2] 技术突破 - iCell创新性采用Transformer预训练方法的晶体管布局方法，深入学习已有单元的版图设计经验，利用强化学习进一步探索优化 [2] - 通过多任务学习的统计建库方法，大幅降低仿真开销，显著缩短单元建库周期 [2] - 传统建库方式依赖人工经验，需数百名工程师耗时数月完成，而iCell实现标准单元库的自动化构建 [1] 应用场景 - iCell通过单元设计——工艺联动，实现工艺探索和优化，作为点工具应用于先进工艺代工厂 [2] - 通过高性能DTCO流程和设计服务直接对接国内高端芯片企业 [2] - 目前iCell在国内的龙头芯片设计公司以及存储代工企业得到应用 [2] 行业背景 - 国家集成电路设计自动化技术创新中心由南京市政府联合东南大学共同发起成立，于2022年12月获科技部批建 [1] - 中心聚焦下一代电子设计自动化（EDA）技术突破，以"智能EDA——计算一切电路"为宗旨 [1] - 标准单元是数字芯片设计的最小单位，在先进工艺上通常需要1000个到1万个不同的标准单元 [1]

本文来自微信公众号：阿朱说 （ID：azhushuo），作者：吕建伟，原文标题：《大方向》，题图来 自：AI生成 2015年，AlphaGo打败李世石，人工智能出圈，迎来爆发。AI四小龙纷纷创业，大多主打视觉识别。这 也难怪，毕竟2015年以来爆发的人工智能热潮，其导火索是：2009年李飞飞创建图片标注数据集、2012 年辛顿在这个图片识别竞赛中刷分屠榜。 今年是2025年，十年了。大家猛然发现，人工智能已经火了十年了。 回顾过去人工智能火的十年，现在来看，AI四小龙纷纷凋零。 二 现在是2025年6月份，我想回顾一下中国AI在这半年来的进展，我让AI给我列一下目前的中国人工智能 大模型： 百度-文心、阿里-通义、腾讯混元与元宝、字节豆包、幻方-DeepSeek、智谱-GLM、月之暗面-Kimi、百 川、零一万物、MiniMax-ABAB、面壁-CPM、商汤-日日新、科大讯飞-星火、360-智脑、昆仑万维-天 工、华为-盘古…… 三 如果说，AI的2015~2025年这十年是上半场，主打视觉识别，而下半场，2025~2035年这十年，会是视 觉生成吗？视觉识别经历的十年会不会也会如AI四小龙一样尴尬呢？ 我又 ...