文章核心观点 - 当Transformer架构面临参数和规模的极限时,端侧群体智能是AI发展的另一条重要出路 [1][35] - 摆脱对云端大模型的依赖,通过具备原生记忆和自主学习能力的端侧智能设备实现本地化、个性化、低成本的智能互联,是未来的发展方向 [3][4][29] - 公司致力于开发非Transformer架构的模型,以推动设备端侧智能从“固定工具”向“持续学习”和“即时成长”演进,最终构建“群体智能”生态 [4][21][33] 对云端大模型现状的批判 - 当前主流的按Token付费的云端模型模式是一种错误的理念,全球每日消耗的Token总量达万亿甚至百万亿级别,其中至少有50%是被浪费掉的 [4][9] - 依赖云端处理简单指令(如发送短信)链路复杂绕远,且涉及隐私泄露风险 [7][9] - 一味堆砌算力、数据和参数规模的发展路径正在扼杀创新,并让许多小团队失去机会 [4][15] 端侧智能的优势与愿景 - 优势:端侧智能可实现设备间本地联动,无需云端参与,在保护个人隐私、降低使用成本(无需Token付费)的同时,允许模型高度个性化 [3][4][7] - 应用场景:描绘了智能家居场景,如回家后设备自动完成播放音乐、加热水、拉窗帘、设定闹钟、预订早餐等一系列操作 [3][7] - 终极形态:当众多具备智能的设备相互联动,可能催生出“群体智能”的新形态,类比于智力相近的人类通过协作完成造火箭等复杂任务 [4][13][33] 端侧智能面临的挑战与解决思路 - 核心挑战:包括硬件资源(算力、内存)受限、对实用性(实时性、功耗)要求高,以及模型缺乏自主学习能力 [4][13] - 关键能力:未来的智能硬件必须具备原生记忆和自主学习能力,使模型能够持续成长,而非在部署后“死亡” [4][19][21] - 记忆分层:记忆包括形态记忆(如电话号码)和知识记忆(经大脑转化的观点),更高层次是由长期记忆学习构成的世界观,这是实现模型个性化及进化的基础 [19] 非Transformer架构路线与模型表现 - 技术路线选择:公司选择开发非Transformer架构(Yan模型),以在资源受限的设备端实现智能,核心在于架构内置的记忆模块和选择激活机制 [4][23] - 模型表现:在多项指令模型评测指标中,非Transformer架构模型(Yan 2.0 preview+)与主流Transformer模型(如Ilama-3.1-8b-it、gemma3-4b-it)效果差异不大,甚至在部分推理任务(如ARC-e)上表现更优 [24] - 路线开放性:技术路线应百花齐放,非Transformer架构应占有一席之地,多一条路线就多一种可能性 [24][37][38] 端侧智能的落地应用与影响 - 应用演示:模型可部署在手机上,学习概念后指挥机器狗完成任务;也能理解复杂指令(如为老人自动调节空调),并依靠记忆重复执行 [26][27] - 对硬件的影响:真正的AI硬件应让用户感受不到AI的存在,实现软硬件深度融合,设备将更加个性化、富有情感且更了解用户 [29] - 成本与效能:在垂直场景下,一个小参数模型(如3B)可能达到未优化的大参数模型(如8B)的效果,解决实际场景问题时,大模型的许多参数可能是浪费的 [40][41] 公司业务聚焦与未来展望 - 业务聚焦:公司目前主要聚焦于消费电子类设备,包括平板、PC、机器人等方向 [31] - 未来模式:未来的智能将是云端与设备端相结合、按比例分配协作的模式 [33] - 行业趋势:端侧智能已引起广泛关注,众多公司开始在此领域发力,大模型正从云端向端侧延伸,有消息称OpenAI明年可能发布结合模型的自有硬件 [9]
RockAI CMO 邹佳思:端侧智能如何通过「原生记忆」与「自主学习」,完成从工具迈向伙伴的人机关系丨GAIR 2025
雷峰网·2025-12-19 12:55