Jetson Orin Nano 2
搜索文档
端侧AI撞上「内存墙」,瑞芯微提前做对了什么?
36氪· 2026-09-09 18:19
行业趋势:内存墙成为AI芯片核心瓶颈 - 2026年,AI产业链信号将“内存墙”推向讨论中心,数据搬运成为与计算能力同等重要的系统瓶颈[3] - 英伟达研究科学家指出“计算极其重要,但我们需要用数据来‘喂饱’它”[3] - 高通、苹果、英伟达等厂商在2026年相继推出近存计算或高带宽内存方案,释放出大模型持续推理阶段性能取决于数据供给效率的信号[3] - 传统SoC中,大模型常驻本地后,逐Token解码反复读取权重、长上下文增加KV Cache访问量、Agent连续调用拉长推理时间,导致带宽不足时TOPS无法代表实际表现[10] - 云端已用HBM和高速互联证明算力提升需同步解决数据供给,终端面临更严格的功耗、成本和空间限制[10] 瑞芯微架构布局:近存计算与双轨架构 - 瑞芯微于2025年7月发布面向端侧大模型推理的AI协处理器RK182X,领先行业共识约一年[4][13] - RK182X采用近存计算思路,将内存资源放在更靠近NPU的位置,减少模型权重搬运距离,提高数据供给效率[13] - RK1820和RK1828分别配备2.5GB和5GB内置内存,提供数百GB/s内存带宽,为AI推理提供专用NPU和内存资源[14] - 瑞芯微采用SoC与协处理器并行演进的双轨架构,主控承载操作系统、显示、视频等基础任务,协处理器负责大语言模型与多模态模型推理[16] - 双轨架构使AI能力迭代周期与主控平台生命周期解耦,客户可优先升级协处理器模块,无需更换主控、改板适配或重新认证[17] 产品性能与落地验证 - RK1828提供20 TOPS(INT8)NPU峰值算力,针对Transformer架构和Attention算子进行硬件适配[15] - 官方测试显示,Qwen2.5-3B输出速度超过100 token/s,Qwen2.5-7B接近70 token/s[15] - 瑞芯微与面壁智能合作,RK3576M与RK1828双芯方案运行MiniCPM 4B VLM时,纯文本首Token时延约380毫秒,生成速度约103.4 token/s[22] - 海信RGB-MiniLED电视UX采用RK3588与RK1828双芯方案,实现本地实时二维转立体画面[23] - PUDU CC1 Pro商用清洁机器人用RK1828做离线污渍识别和路径规划,不依赖现场网络[23] - 格灵深瞳GBox、万物纵横DA600等设备将本地视频分析、检索和多模型推理带入工业质检等边缘场景[23] 生态与交付能力 - RK182X已实现量产,RKNN3工具链进入可规模交付阶段,模型适配周期通常为数天至两周,通义千问系列实现Day 0适配[20] - 瑞芯微整体服务全球客户超过5000家,RK182X已进入十余个行业,超过300家客户采用[26] - 瑞芯微通过模块化接口与RKNN3,将单个客户适配成果沉淀为可重复使用的平台能力[26] - 相关方案已可覆盖Qwen3.5-9B和Qwen3.8-27B,支持通过多卡级联扩展算力和存储[16] - 瑞芯微从AIoT主控厂商蜕变为端侧AI拓荒者,将技术先发优势转化为平台化、规模化的端侧AI交付能力[30]