非Transformer架构大模型

搜索文档
非Transformer架构落地之王,带着离线智能和原生记忆能力在上海WAIC浮出水面
量子位· 2025-07-26 14:34
核心观点 - RockAI开发的非Transformer架构大模型Yan 2.0 Preview具备原生记忆能力,支持离线环境下的持续学习和多模态交互,为端侧设备提供高效智能解决方案 [6][11][12] - 公司从底层重构AI运行逻辑,专注端侧部署,提出"离线智能"概念,实现模型在设备本地的理解、推理和学习闭环 [27][48][49] - Yan架构已在树莓派、机器人主控芯片等硬件实现商业化落地,成为国内非Transformer架构模型的领先者 [58][60][61] - 公司技术路线指向群体智能(Collective Intelligence)方向,通过设备间协作构建分布式AI生态 [64][65][66] 技术突破 模型架构创新 - 放弃Transformer架构,开发专为端侧设计的Yan架构,解决资源敏感场景下的计算效率问题 [27][28][29] - Yan 2.0 Preview引入原生记忆模块,支持训推同步机制,实现边用边学的持续进化能力 [12][17][24] - 记忆系统包含动态更新(神经网络模拟记忆行为)和稀疏检索(Top-K激活记忆融合)两阶段机制 [19][20][23] 性能表现 - 在3B参数量级下,Yan 1.3平均得分76.1,优于Llama3 8B(75.0)和Gemma 3 4B(68.0) [34] - Yan 2.0 Preview将平均得分提升至78.6,在ARC-E(91.7)和WinoGrande(83.1)任务中表现突出 [34] - 树莓派上实现5 tokens/s的多模态问答速度,手机端最高输出>18 tokens/s [50][59] 商业化进展 硬件适配 - 已适配树莓派、骁龙6系列移动芯片、AMD/Intel PC处理器及机器人主控芯片 [58] - 在高通骁龙8 Gen2平台实现>18 tokens/s输出,联发科天玑8100平台>12 tokens/s [59] - 与出海品牌合作的AI PC将于2023年下半年量产上市 [59] 行业定位 - 全球极少数实现完全非Transformer架构+真端侧落地的公司 [60] - 国内非Transformer架构模型的商业化落地领先者 [61] - 技术方案被应用于机器人、IoT设备、智能手机等多类终端 [30][58] 行业趋势 技术路线 - 行业出现Transformer替代方案探索,如谷歌MoR架构实现内存减半+推理速度翻倍 [68] - 端侧AI需求催生混合架构创新,效率敏感场景推动非Transformer技术发展 [69][70] - RockAI提出的群体智能(Collective Intelligence)概念被视为AGI潜在路径 [64][65] 竞争格局 - Transformer架构仍主导行业生态,但存在工具链、硬件适配等系统性限制 [74][75] - 非Transformer架构面临技术惯性和生态壁垒,但解决端侧部署的核心痛点 [71][72] - 公司选择差异化竞争路径,避开与云端大模型的直接对抗 [45][47][53]