文章核心观点 - 大模型推理性能瓶颈随工作负载变化，Prefill阶段矩阵计算并行度高，低批量Decode场景下模型权重访问难以被大量Token摊销，存储带宽与数据搬运成本成为影响推理效率的重要因素，上下文增长还会带来KV Cache额外存储压力 [1] - 熵旋芯智选择从权重密集型计算入手，面向MoE专家网络等典型负载，通过MRAM存内计算优化权重存储与计算路径，为提升Decode效率提供新技术方案 [1] - 公司提出首代MRAM存内计算架构MITA，并将基于MRAM的处理单元命名为MPU，旨在让适合映射的权重驻留在片上MRAM阵列，由激活数据流入阵列完成矩阵运算，减少权重在每轮Decode中反复从外部存储进入计算路径的开销 [1] 技术路线与架构定位 - GPU依托HBM、片上缓存与计算单元组织数据流，凭借通用性和成熟生态支撑大规模推理，但当工作负载受带宽限制时，权重与KV Cache的读取可能成为进一步提升效率的约束 [3] - Groq LPU将存储重心移向片上SRAM，并通过编译调度组织计算与传输，展示了片上访问的效率，但需要在存储容量、芯片数量和互连开销之间取舍 [3] - MITA进一步把部分矩阵运算放进存储阵列，适配后的权重映射并驻留于MRAM，激活数据进入阵列参与计算，结果再交由后续单元处理 [3] - 已驻留权重在执行对应运算时无需反复经过外部存储到独立计算单元的路径，系统仍需缓存、读出、互连与控制电路，但权重密集型计算的数据流有了新组织方式，即让激活流向权重、让权重在存储原位参与计算 [5] 聚焦MoE专家层的异构协同 - MoE模型通过稀疏激活机制在控制单次推理计算量的同时扩展模型参数规模，主流Transformer-MoE架构中MoE层通常以“路由器+多个前馈专家”替代传统稠密前馈网络，每个专家本质上是独立的前馈网络，核心计算由多个线性投影构成 [7] - 推理时每个Token通常只激活少量专家，专家权重的存储与读取、动态调用分布以及跨设备调度效率都会直接影响系统实际推理性能 [7] - MITA聚焦MoE专家内部的权重密集型线性运算，利用MRAM存内计算技术在存储阵列内部完成适配的矩阵乘法，当专家权重常驻MRAM阵列时后续Token可直接复用已存储权重，减少重复的外部权重搬运，降低数据访问开销并提升专家计算执行效率 [7] - 容量边界明确：超大规模模型需要结合阵列容量、量化精度和专家分配进行部署，多颗芯片之间还需协调负载与通信，长上下文带来的KV Cache压力仍需由系统中的HBM、SRAM等存储层承接 [8] - MITA以专用FFN加速模块接入现有推理系统，重点承担MoE专家内部的线性投影计算，并结合配套数字处理单元完成必要的局部运算，与GPU协同执行注意力、路由及整体推理流程，通过优化专家映射、局部数据流和异构执行路径力求减少跨设备数据交换与同步开销 [8] - 架构整体收益不仅取决于单芯片的计算与存储效率，还受到芯片间、板卡间互联的带宽、延迟、数据交换频率及同步开销影响，逐Token生成阶段跨设备通信与同步延迟可能难以完全通过流水线掩盖，需要通过合理的专家部署、数据流组织和计算通信协同降低异构执行过程中的额外系统开销 [8][9] 商业目标与成本核算 - 熵旋芯智以单位Token推理成本降低90%作为长期技术与商业目标，与传统GPU推理系统相比，MITA不仅希望通过权重原位计算降低存储访问与数据搬运开销，还将通过片上高密度权重部署、专家计算加速及异构协同优化探索进一步降低整机部署与运行成本的可能性 [11] - 该目标实现需要在相同模型、推理精度、并发规模、上下文长度及服务质量约束下，综合衡量芯片面积与制造成本、硬件投入、整机功耗、GPU与F卡之间的通信、多芯片及多板卡互联、系统调度效率和有效吞吐能力，最终价值以端到端推理性能及总体拥有成本（TCO）为依据，通过真实客户负载持续验证 [11] 器件与软件工程能力 - MRAM存内计算竞争最终要落到容量、精度、能效与软件适配的共同优化 [13] - 权重驻留能力方面，MRAM的非易失性使权重在断电后仍可保留，无需依靠持续供电维持存储状态，其密度潜力也为扩大片上权重容量提供空间，具体收益仍取决于工艺、阵列结构与外围电路配置 [13] - 计算精度方面，MITA利用磁性隧道结的阻态差异调制读出电流，通过阵列内电流聚合完成相应运算，器件一致性、读出裕量、多比特编码与校准机制需要共同保障模型精度并控制外围电路开销 [13] - 软件协同方面，哪些算子进入阵列、权重如何映射、多芯片如何分担专家都需要编译器、仿真器与运行时配合，公司正围绕“模型—编译—映射—仿真—执行—优化”构建工具链，让硬件设计与真实负载相互反馈 [13] 制造基础与产业进展 - 全球领先晶圆代工厂正加速推进MRAM向先进制程演进并已取得实质性产业化进展 [13] - 三星电子已实现28nm FD-SOI eMRAM量产，14nm eMRAM完成工艺开发并推进产业化；2026年其8nm eMRAM实现满足量产良率要求的硅片验证并已获得客户导入 [13][14] - 三星在2026年VLSI国际学术会议上公布5nm eMRAM的实测研究成果，验证了其在先进逻辑节点集成及车规级可靠性方面的技术可行性 [14] - 台积电方面，22nm和16nm eMRAM均已通过AEC-Q100车规认证并实现量产，12nm及5nm eMRAM也在持续研发 [14] - 上述进展表明MRAM技术已从成熟节点的商业化应用发展到先进节点的客户芯片导入与更先进制程的实测验证阶段，正在形成支撑下一代存内计算芯片发展的先进制造工艺基础 [14] 产品规划与验证路径 - 熵旋芯智团队具有中科院半导体所技术背景，正将MRAM器件研究延伸至芯片架构与推理软件 [16] - 按照公司规划，后续将推进2027年MPW验证及客户送样，并以2028年量产为目标 [16] - 从架构发布到产品交付，MITA接下来需要回答在客户实际运行的模型中多少权重能够驻留、多少搬运能够减少、最终能够降低多少单位Token成本 [16] - 当AI推理开始逐个Token核算投入，减少权重搬运就成为重算成本账本的一条路径，公司要做的就是把这条路径变成可验证、可部署的产品 [16]