架构革新

搜索文档
在WAIC现场,全球首个拥有「原生记忆力」的大模型亮相,但不是Transformer
机器之心· 2025-07-26 17:32
架构革新趋势 - Transformer架构统治大模型领域八年后,谷歌开始探索替代方案MoR,表明行业对架构革新已形成共识[1][2] - 国内企业RockAI推出非Transformer架构Yan 2.0 Preview,比谷歌变革更彻底,其3B模型在端侧设备实现多模态能力[3][4][5] - Yan架构显著降低计算复杂度,可在树莓派等低算力设备离线运行,突破Transformer的算力依赖限制[5][9] Yan架构技术突破 - 模型具备原生记忆能力,能将记忆融入参数实现持续学习,而Transformer模型每次对话需重新开始[6][16] - 通过可微的"神经网络记忆单元"实现生物式记忆存储/检索/遗忘,无需外挂知识库管理[17][19] - 在ARC-C(76.8)、ARC-E(91.7)等基准测试超越Llama3(79.6/92.3)、Gemma3(56.2/82.4)等同规模模型[14] - 机器狗Demo展示记忆持续性,重启后仍保留学习过的动作和偏好[20] 行业痛点解决方案 - 突破Transformer两大瓶颈:数据墙(高价值数据获取难)和算力依赖(端侧部署困难)[9] - 实现"训推同步",允许设备在推理时持续学习,解决剪枝/量化破坏再学习能力的问题[9][10] - 记忆机制带来时间维度和个性化特征,可能改变依赖海量数据的训练范式[21] 商业化应用前景 - 模型角色从回答者转变为用户思维延伸,实现长期陪伴和个性服务[22] - 离线智能使设备从工具进化为"数字大脑",硬件价值从配置转向智能进化能力[23][28] - 已在WAIC大会吸引硬件厂商合作,非Transformer架构开始扩散至AI硬件市场[34] 公司发展理念 - 三大核心理念:AI普惠化(端侧部署)、设备自主进化、群体智能涌现[24][25][26] - 定位"离线智能"而非端云结合,强调本地算力下的自主学习能力[27] - 坚持挑战反向传播算法等底层技术,展现长期主义研发态度[36][37]
芯片,最新路线图
半导体行业观察· 2025-06-25 09:56
半导体工艺节点命名演变 - 当前7纳米、5纳米、3纳米芯片命名已脱离物理尺寸本质,演变为约定俗成的技术标识 [8] - 早期平面晶体管时代命名直接反映物理尺寸(如90纳米、65纳米),FinFET架构出现后命名逻辑改变 [8] - 三维晶体管通过垂直堆叠提升性能,性能提升更多源于架构创新而非物理尺寸收缩 [9] - 现代工艺节点命名延续"等效平面晶体管"概念,成为衡量技术代际演进的重要标准 [11] FinFET架构发展历程 - 英特尔2011年首次商业化FinFET技术应用于22nm工艺,显著提升性能并降低功耗 [18] - FinFET将晶体管结构从平面变为立体,增加源极和栅极接触面积,空间利用率大幅提升 [18] - 5nm节点后基于FinFET结构进行尺寸缩小变得困难,量子隧穿效应导致漏电流问题加剧 [19] - FinFET技术自2011年商业化以来成功推动从22nm到5nm/3nm多代工艺发展 [18] NanoSheet架构革新 - NanoSheet采用环绕闸极(GAA)结构,全方位包围导电通道,有效抑制量子隧穿效应 [23] - 相比FinFET,NanoSheet可在相同尺寸下提供更高驱动电流,突破当前工艺困境 [23] - 台积电计划2028年量产采用第二代GAA纳米片晶体管的A14(1.4nm)工艺 [27] - 三星和英特尔已率先转向GAA工艺,FinFET在先进节点上逐步被取代 [27] 光刻技术演进 - 标准EUV(0.33NA)光刻机单台成本达1.5-2亿美元,支撑FinFET架构发展 [30] - High NA EUV(0.55NA)将取代标准EUV,直接实现2nm以下节点单曝光成型 [32] - Hyper NA EUV(0.75NA)目标2035年实现0.3nm制程,面临米级反射镜制造等挑战 [49] - 0.55NA High NA EUV预计可支持到2033年A5节点,更先进节点需0.75NA技术 [50] 背面供电技术 - 从N2节点开始引入背面供电技术,将电源传输路径转移至芯片背面 [34] - 该技术可降低30%功耗同时提升20%运算速度,特别适合AI芯片等高性能场景 [37] - 背面供电需要结合High NA EUV光刻技术,将供电互连间距缩小至50纳米以下 [36] 未来架构发展路线 - 叉片晶体管(ForkSheet)被视为纳米片延伸,金属间距可缩小至18纳米 [43] - CFET架构通过n-FET和p-FET垂直堆叠实现密度翻倍,预计2031年A7节点引入 [45] - 2DFET采用单原子层2D材料,预计2037年A2节点取代CFET,制造流程可简化30% [56] - 二硫化钨等过渡金属化合物展现潜力,石墨烯因零带隙特性不适用晶体管 [58]