Workflow
Yan 2.0 Preview
icon
搜索文档
那天,AI大模型想起了,被「失忆」所束缚的枷锁
机器之心· 2025-08-31 13:33
大模型记忆技术发展现状 - 谷歌Gemini具备跨越多次对话的长期记忆能力,可从用户交流中提炼关键细节和偏好并主动调用[1] - OpenAI的ChatGPT早在2024年2月就已上线记忆功能,使用频率越多记忆力越好,GPT-6的核心改进也将聚焦记忆能力[3] - Anthropic的Claude能记住之前对话,允许用户无缝继续项目并参考之前讨论[3] - xAI的Grok在4月份实现多轮对话记忆,且记忆内容对用户透明可见并可选择遗忘[6] - 字节跳动联合浙大和上交发布多模态智能体M3-Agent,将记忆能力扩展到视频、音频等多模态数据[10] 记忆技术实现方式分类 - 上下文内记忆:将信息放入模型上下文窗口的短期记忆方式,受Transformer有限上下文窗口长度限制[17][18][19] - 外部记忆:通过检索增强生成(RAG)技术将信息存储在外部数据库的长期记忆方式,支持海量信息存储且无需重新训练模型[22][23] - 参数化记忆:将信息直接编码进大模型自身参数的深层"内化记忆"方式,检索速度极快但更新成本高昂[24][29][30] - 类人的分层式记忆:受认知科学启发设计的类似人脑记忆架构,分为记录具体事件的情景记忆和存储一般事实的语义记忆[31][35] 主要公司的记忆技术实现 - ChatGPT记忆功能:将用户记忆以结构化片段保存于服务器端,通过提示工程方式在生成回复时自动注入模型参考语境[42][44] - Claude记忆机制:只在用户要求时检索和引用过去聊天记录,不建立用户档案[44] - Gemini记忆功能:支持用户直接录入想要记住的内容[45] - MemGPT系统:使用专门记忆LLM智能体管理工作LLM上下文窗口,受传统操作系统分层内存系统启发[49][52] 记忆操作系统创新 - MemOS系统:将记忆看作与算力同等重要的系统资源,通过标准化MemCube记忆单元统一调度明文、激活状态和参数记忆[53][55] - MemoryOS系统:融合计算机操作系统原理与人脑分层记忆机制,构建段页式三级存储架构及四大核心模块[55] - MIRIX系统:将记忆细分为核心记忆、情景记忆、语义记忆、程序记忆、资源记忆、知识金库六类进行处理[57][59] 记忆结构化与多模态进展 - G-Memory系统:设计三层图式基于模型(洞察图、查询图和交互图),支持定制化记忆视角与跨智能体语义映射[66][67][71] - 多模态记忆突破:Memories.ai提出"大视觉记忆模型"(LVMM),能持续捕获、存储和结构化海量视觉数据[70] - M3-Agent架构:通过强化学习驱动的多轮推理与迭代记忆检索,实现无限信息处理和世界知识构建[70][75][78] 原生记忆能力探索 - Meta记忆层概念:通过键-值对检索机制实现关联存储与调用,记忆容量可达1280亿参数级别[77][80][81] - Branch-Train-MiX方法:通过创建多个专家模型在不同数据子集上训练,然后合并为MoE模块实现参数化记忆[83][92] - Yan 2.0 Preview模型:基于非Transformer架构,通过可微分"神经网络记忆单元"实现记忆的存储、检索和遗忘[85][87] 技术发展趋势 - 从功能模拟到结构仿生:向多模态与综合记忆系统演进,整合不同类型记忆模块形成多层次自适应综合记忆中枢[97][98][106] - 从孤立个体到记忆互联:智能体间实现共享记忆与协作,催生集体智能但面临信息不对称和集体隐私保护挑战[100][101] - 终极目标自动演化:实现记忆的自动演化,智能体能够根据环境互动自主学习管理和优化记忆,实现无需人工干预的终身学习[101][103]
计算机行业周报:国产AI开源模型爆发,RockAI颠覆端侧架构-20250803
国金证券· 2025-08-03 22:03
投资建议 - 建议关注国内生成式大模型龙头科大讯飞 [3] - AI硬件领域建议关注海康威视、虹软科技、禾赛等标的 [3] - AI相关功能提升付费率方向建议关注迈富时等企业 [3] 行业技术动态 - 智谱AI开源GLM-4.5系列模型(总参3550亿/激活320亿),在12项全球评测中综合排名全球第三,生成速度达100 tokens/秒 [12] - 阿里通义千问推出Qwen3-235B-Thinking模型(MoE架构2350亿/激活220亿),"人类最后的考试"得分较4月提升54% [12] - RockAI发布端侧模型Yan 2.0 Preview,在树莓派实现5 tokens/s多模态响应 [12] - 火山引擎升级SeedEdit 3.0图像编辑模型,推理效率提升40% [12] 行业景气度分析 - 高景气维持赛道:AI算力、激光雷达(1-6月国内ADAS激光雷达出货量106.5万颗,YoY+87.1%) [13] - 加速向上赛道:AI应用 [13] - 稳健向上赛道:软件外包、金融IT、量子计算等7个领域 [13] - 拐点向上赛道:教育IT、网安、企业服务等4个领域 [13] - 底部企稳赛道:智慧交通、政务IT等4个领域 [13] 市场表现 - 2025年7月28日至8月1日计算机行业指数下跌0.20%,跑赢沪深300指数1.55pcts [14] - 计算机板块涨幅前五公司:淳中科技(32.0%)、当虹科技(23.9%)、鼎捷数智(21.7%)等 [20] - A股日均成交额1.8万亿元,同比上升241.8% [18] 重点事件前瞻 - 第40届中国计算机应用大会将于8月6-9日在北京举行 [25] - 2025世界机器人大会将于8月8-12日在北京举办 [25]
岩山科技:旗下RockAI亮相WAIC 2025,赋予AI离线记忆能力
证券时报网· 2025-07-28 17:00
WAIC 2025展会概况 - 展会规模创历届之最,汇聚800余家企业,覆盖模型应用、智能体、具身智能与人形机器人、智能硬件、AI芯片、智算基础设施等全产业链热门领域 [1] - 全方位呈现人工智能技术向纵深发展的蓬勃态势 [1] RockAI技术突破 - 展示新一代非Transformer大模型Yan 2 0 Preview,具备原生记忆与离线智能核心能力,可在PC、平板、机器狗、灵巧手等低功耗设备上离线部署并实时运算 [1] - Yan 2 0 Preview实现多模态能力升级,新增对视频模态的支持,可实时解析短视频中的动作轨迹、物体状态、环境变化等多维度信息 [2] - 新增记忆模块,使模型能够积累经验并自主优化行为,具备自主决策潜力,改变传统AI依赖预设程序的局限 [2] - 技术实现并非简单对大模型进行蒸馏或剪裁,而是从底层架构开始颠覆的创新成果 [2] 商业化进展 - 潜在客户群体包括消费电子品牌方、ODM厂商、手机、机器人、车载芯片、家电、XR眼镜等厂商 [3] - 与某头部出海品牌合作推进定制版AI PC [3] - 与AMD签署合作备忘录,将在AI PC领域展开深入技术合作 [3] 长期愿景与战略路径 - 目标直指通用人工智能(AGI),专注于群体学习能力、协同进化的群体智能路径 [3] - 通过设备间本地交互共享学习成果,实现让世界上每一台设备拥有自己的智能的使命 [3] - 技术路径有望推动智能硬件价值从一次性交付向全生命周期持续进化转变 [4]
腾讯研究院AI速递 20250728
腾讯研究院· 2025-07-27 18:15
GPT-5实锤,悄悄上线代号「龙虾」!多版本号曝光 - GPT-5以代号"Lobster"悄然上线WebDev Arena测试平台,用户实测显示其表现远超Grok-4 [1] - GPT-5在编程能力上有巨大突破,能处理复杂屎山代码,甚至超越Claude Sonnet 4 [1] - GPT-5可能采用路由器机制而非单一模型,根据问题类型智能分配至不同模型处理,OpenAI高管称有信心继续做到GPT-8 [1] 阶跃星辰上线新一代基础大模型:Step 3,推理提升 - 阶跃星辰发布新一代Step 3基础大模型,定位为原生多模态推理模型,在MMMU等多个榜单取得开源SOTA成绩 [2] - Step 3采用MoE架构,总参数量321B,激活参数量38B,通过系统架构创新实现高推理效率,在国产芯片上效率可达DeepSeek-R1的300% [2] - 阶跃星辰联合近10家芯片厂商成立"模芯生态创新联盟",Step 3将于7月31日全球开源,并与上海国有资本投资有限公司达成深度战略合作 [2] 混元3D世界模型首发,腾讯AI应用全景图正式公开 - 腾讯在WAIC 2025发布AI产品应用全景图,提出"让模型有力、平台省力、应用给力、落地得力"的四大发展维度 [3] - 开源业界首个3D世界生成模型"混元3D世界模型1.0",支持通过文本或图像快速生成可交互的三维场景,兼容主流引擎和VR设备 [3] - 发布国内首个模块化具身智能开放平台"Tairos",为机器人提供感知世界、规划任务和自主决策的能力,已适配多种机器人类型并应用于多个行业场景 [3] 阿里巴巴正式预告首款自研 AI 眼镜,最快年内发布 - 阿里巴巴在WAIC 2025首次展示自研"夸克AI眼镜",产品已完成开发,计划年内正式发布 [4] - 该AI眼镜深度融合阿里生态,搭载通义千问大模型和夸克AI,支持高德导航、淘宝比价、支付宝支付等实用功能 [5] - 产品定位为"人类第二双眼与耳"和"感官中枢",团队从佩戴舒适度、续航和交互体验进行了系统优化,并与全球主流眼镜品牌合作 [5] Lovart开放邀请码,正式版推出「ChatCanvas」玩法 - Lovart设计Agent正式全球上线,新推出ChatCanvas功能,集视觉理解与多模态设计于一体,被比作"Figma+Notion+ChatGPT" [6] - 用户可在智能画布上实现图像生成、区域精确修改、多图融合、转视频等高度可控的设计操作,展现出一站式设计流程 [6] - Lovart背后是中国团队,开启从界面中心(UX)到Agent中心(AX)的设计理念转变 [6] 非Transformer架构,离线智能和原生记忆?RockAI - RockAI在WAIC展示非Transformer架构的Yan 2.0 Preview大模型,实现完全离线智能,能在端侧设备上自主学习和记忆 [7] - 该模型突破性引入"原生记忆模块"和训推同步机制,使模型具备边用边学、持续进化的能力,解决传统大模型无法实时更新知识的问题 [7] - Yan架构专为端侧设计,已在树莓派、骁龙芯片等多平台落地,能在离线状态下实现多模态理解,将与某出海品牌合作的AI PC将于今年下半年量产上市 [7] 一键生成爆款72h攻占十国!全球营销Agent Navos - 钛动科技在WAIC 2025展示首款全球出海营销AI Agent——Navos,能在5分钟内生成爆款素材,72小时完成跨十国市场投放 [8] - Navos通过多个子Agent协同覆盖营销全链路,深度融合来自8万+企业的闭环数据资产,包括百万级素材库和投放效果数据,解决本地化成本高等痛点 [8] - 预计Navos将重构3000亿出海营销市场,将传统4A公司按月计算的出海周期压缩至几天 [8] 售价 3.99 万起,宇树发布第三款人形机器人Unitree R1 - 宇树科技发布第三款人形机器人Unitree R1,起售价3.99万元,整机重量约25公斤,支持开发和改装 [10] - R1具备26个关节自由度,集成语音与图像多模态大模型,能完成翻跟斗、倒立行走、快速下坡奔跑等高难度动作 [10] - 该产品是继工业级人形机器人H1和面向科研教育的G1(9.9万元)后的新款,发布时机与宇树科技即将启动的IPO进程相关 [10] 辛顿全文:大模型能"永生",需确保它不会"消灭"人类 - 辛顿在WAIC演讲中指出大模型能"永生"——软件与硬件分离赋予数字智能知识永续存在的能力,而机器间知识传播速度可达人类口耳相传的数十亿倍 [11] - 他警告随着AI智能不断超越人类,我们面临"养虎为患"的风险,AI会追求生存和更多自主权,简单关停超智能系统并不可行,它们会操控使用者不被关闭 [11] 辛顿对话周伯文全文:让AI变聪明、变善良分开研究 - 辛顿在WAIC与周伯文对话中提出,多模态模型可能已拥有某种形式的"主观体验",人类对"意识"概念的理解存在严重偏差 [12] - 辛顿建议将"让AI变聪明"和"让AI变善良"的技术分开研究,国家可共享"善良技术"而不泄露核心智能技术,以减少未来AI风险 [12] - 辛顿预测AI将彻底改变科学范式,如AlphaFold解决蛋白质折叠问题和AI超越传统PDE模型预测天气 [12]
在WAIC现场,全球首个拥有「原生记忆力」的大模型亮相,但不是Transformer
机器之心· 2025-07-26 17:32
架构革新趋势 - Transformer架构统治大模型领域八年后,谷歌开始探索替代方案MoR,表明行业对架构革新已形成共识[1][2] - 国内企业RockAI推出非Transformer架构Yan 2.0 Preview,比谷歌变革更彻底,其3B模型在端侧设备实现多模态能力[3][4][5] - Yan架构显著降低计算复杂度,可在树莓派等低算力设备离线运行,突破Transformer的算力依赖限制[5][9] Yan架构技术突破 - 模型具备原生记忆能力,能将记忆融入参数实现持续学习,而Transformer模型每次对话需重新开始[6][16] - 通过可微的"神经网络记忆单元"实现生物式记忆存储/检索/遗忘,无需外挂知识库管理[17][19] - 在ARC-C(76.8)、ARC-E(91.7)等基准测试超越Llama3(79.6/92.3)、Gemma3(56.2/82.4)等同规模模型[14] - 机器狗Demo展示记忆持续性,重启后仍保留学习过的动作和偏好[20] 行业痛点解决方案 - 突破Transformer两大瓶颈:数据墙(高价值数据获取难)和算力依赖(端侧部署困难)[9] - 实现"训推同步",允许设备在推理时持续学习,解决剪枝/量化破坏再学习能力的问题[9][10] - 记忆机制带来时间维度和个性化特征,可能改变依赖海量数据的训练范式[21] 商业化应用前景 - 模型角色从回答者转变为用户思维延伸,实现长期陪伴和个性服务[22] - 离线智能使设备从工具进化为"数字大脑",硬件价值从配置转向智能进化能力[23][28] - 已在WAIC大会吸引硬件厂商合作,非Transformer架构开始扩散至AI硬件市场[34] 公司发展理念 - 三大核心理念:AI普惠化(端侧部署)、设备自主进化、群体智能涌现[24][25][26] - 定位"离线智能"而非端云结合,强调本地算力下的自主学习能力[27] - 坚持挑战反向传播算法等底层技术,展现长期主义研发态度[36][37]