大模型架构创新研究核心观点 - Transformer架构目前仍占据行业绝对主导地位，但面临二次计算复杂度高、长序列处理效率低、端侧部署受限等局限性 [1][9][16] - 行业正从两条路径突破：Transformer架构改进（Attention机制、FFN层优化）和非Transformer架构探索（新型RNN/CNN） [1][7][18] - 技术发展呈现混合架构趋势，如Mamba+MoE等组合，兼顾性能与效率 [2][9][18] - 2023年后进入架构创新密集期，学术界聚焦理论突破，工业界加速工程验证 [2][14] Transformer架构现状与挑战 - 当前占据大模型架构90%以上市场份额，通用性和可扩展性优势明显 [9][10] - 核心问题：计算复杂度O(n²)导致算力消耗激增，GPT-4推理成本达GPT-3的7倍 [16] - 长序列处理效率低下，KV缓存内存占用限制端侧部署 [16] - 预训练+微调范式见顶，效果提升边际递减（Grok3资源增10倍效果仅提升2%） [16] Transformer架构改进路径 Attention机制优化 - 稀疏注意力：采用局部窗口/块状计算降低复杂度至O(n log n)，代表技术有Sliding Window、MoBA [24][25][26] - 动态注意力：NSA等新技术实现可学习动态路径，替代预定义结构 [27][28][32] - 线性注意力：将点积计算线性化降为O(n)复杂度 [24] FFN层改进 - 从Dense结构演进为MoE混合专家系统，提升稀疏连接效率 [1][21] - 持续探索动态化、稀疏化下一代技术 [21][23] 其他改进 - 位置编码优化：LongRoPE增强长序列建模 [1] - 归一化层与残差连接改进 [22] 非Transformer架构探索 - 新型RNN：RWKV通过广义Delta Rule优化状态演化，Mamba利用状态空间模型提升训练效率 [1][14] - 新型CNN：Hyena Hierarchy等架构尝试 [1] - 混合架构：2025年MiniMax-01实现456B参数工业级落地，采用Transformer+Mamba组合 [9][14] 行业发展趋势 - 混合架构成为主流选择，字节跳动、阿里等企业加速布局 [2][10] - 研究方向聚焦：算力适配（FP8混合精度）、多模态融合、端侧部署能力 [2][18] - 参数规模持续突破，2025年出现万亿级非Transformer架构 [9][14] - 训练范式革新：从预训练转向多阶段训练、RL优化等后训练技术 [16][18]

AI技术发展路径的共识与非共识 - 预训练技术从2023年的行业共识到2025年面临质疑，OpenAI前首席科学家公开认为"预训练已走到尽头"，而DeepSeek R1等强化学习模型崛起[1] - 蚂蚁集团技术开放日圆桌讨论显示，行业分化成两派：曹越、孔令鹏等通过跨架构创新（如语言模型应用Diffusion、视频模型采用自回归）实现突破，阿里则坚持Transformer等传统路径[3][4][14] - 当前行业呈现多元探索态势，参与者形容为"摸彩票"，不同技术路线本质是平衡模型偏差与数据偏差的尝试[7][17][18] 主流架构的技术突破 - 扩散模型创新：Dream 7B以7B参数量超越671B的DeepSeek V3，通过双向学习处理并行任务，在数学/代码任务表现突出[3][8][17] - 视频模型革新：曹越团队将自回归应用于视频生成，突破Sora无时序先验的限制，通过编码时间关系提升信息利用率[10][11][12] - Transformer持续主导：阿里内部多次"魔改"Transformer后仍确认其最优性，但承认MOE架构在扩展性上的潜力[5][14][16] 模型优化与效率挑战 - MOE架构进展：DeepSeek实现1:20+稀疏比，阿里测试显示1:10-1:20区间效果最佳，但专家数增加会降低训练稳定性[19][20][22] - 多模态融合创新：通过Attention稀疏化提升跨模态效率，端到端优化Tokenize到联合建模的全流程[24][25][26] - 硬件制约明显：GPU对Transformer训练非最优，行业呼吁软硬一体解决方案[34][35][36] 预训练与数据应用趋势 - 预训练价值分歧：2024年认为数据枯竭是共识，2025年美国新观点认为仍有潜力，阿里证实数据增量仍能提升模型性能[38][39] - 算力驱动创新：历史显示算力增长可激活曾被放弃的技术，当前需重点优化算力利用率[40][41] - 创造本质探索：将创作定义为搜索问题，通过可能性空间遍历实现智能生成[42][43] 行业现存问题与应对 - 幻觉控制难题：强化学习可能加剧错误推理模式，阿里尝试通过稀疏自编码器(SAE)定位并抑制相关特征[30][31] - 架构选择成本：模型结构需同时兼容预训练与强化学习，当前每次技术押注成本显著上升[20][33] - 技术迭代哲学：行业进步类似飞机航道调整，需动态修正而非预测终极形态[44][45]

理想汽车CEO李想关于VLA架构的评论 - 公司CEO李想认为VLA架构能够实现全自动驾驶，但对它是否是效率最高的方式提出疑问 [1] - 指出VLA基于transformer架构，而transformer架构现阶段是效率最高的架构 [1] - 认为VLA架构目前是能力最强的自动驾驶架构，但不排除未来可能出现更高效的架构 [1]

AI对芯片需求的改变 - AI运算的核心挑战在于海量简单计算伴随频繁数据转移 传统芯片架构在内存带宽和通信效率上存在瓶颈[4][5] - 生成式推理对内存带宽提出极高要求 例如700亿参数模型生成单个词需移动140GB数据[5] - 晶圆级集成技术突破SRAM容量限制 单个晶圆即可承载4000亿参数模型 相比传统方案需4000枚芯片的复杂度实现数量级提升[6][7] 技术架构创新 - Cerebras采用晶圆级SRAM阵列 相比HBM方案在推理效率上具有显著优势 第三方测试显示其保持多个模型的最快推理记录[9][10][11] - 独创冗余tile设计解决晶圆良品率难题 实现70年来首个完整晶圆交付 良品率甚至超越传统小芯片厂商[12][13] - 架构设计针对不同场景优化：批处理任务优先成本控制 交互场景追求极致延迟 如将45秒响应缩短至毫秒级可显著改善用户体验[14][15] 行业发展趋势 - 推理市场呈现"三增长"特征：用户数×使用频率×单次算力需求同步爆发 未来五年规模或超当前100倍[16][19] - 2024年末AI应用完成从"新奇玩具"到"工作流必备"的转变 普通用户依赖度推动市场质变[18] - 算法效率存在巨大优化空间 当前GPU推理利用率仅5%-7% 未来通过芯片能效提升+算法改进可实现同等功耗下更高输出[23][24] 竞争格局分析 - 推理领域不存在CUDA生态锁定效应 用户可快速切换不同硬件平台 英伟达护城河主要来自市场主导地位而非技术不可替代性[36][37] - 硬件领域资本密集度构成天然壁垒 预计五年后英伟达训练领域保持优势但推理市占率降至50%-60%[38][39] - 模型公司短期高估值源于不确定性溢价 长期将回归盈利能力评估 硬件供应商企业价值可能持续领先[40] 技术突破方向 - Transformer架构存在二次计算缺陷 未来3-5年内将被基于状态的新架构取代 注意力机制仍有改进空间[32] - 合成数据填补高危场景训练空白 如自动驾驶中的暴雪天气无保护左转等极端情况模拟[26] - 传感器端毫瓦级推理芯片将成为机器人技术基石 虽单芯片价值低但出货量潜力巨大[63] 企业战略部署 - Cerebras通过G42合作积累三大能力：超大规模算力部署经验 软件集群验证 供应链产能跃升 该订单规模超10亿美元[42][46] - 选择IPO的核心考量包括行业首批上市企业溢价 以及满足大客户对合作方透明度的要求[45] - 技术不对称优势是应对竞争的关键 晶圆级集成方案目前全球独家 良品率控制技术构筑壁垒[12][37]

公司背景与技术路线 - 陆兮科技由两位95后女性于2023年创立，是国内首家"类脑计算生态链"企业，专注于非Transformer架构的类脑技术路线 [2] - 2024年推出国产自研大模型NLM，推理效率提升数倍，能耗降低80%以上，并通过国家网信办两项备案 [2][12] - 创始人兼CTO周芃为类脑智能领域专家，16岁考入华中科技大学，27岁获IEEE达灵顿奖，拥有软硬件协同研发的全球独家成果 [6][7] 技术架构创新 - 类脑算法模仿人脑神经元结构，采用稀疏激活机制和存算一体设计，仅激活相关神经元，减少无效计算，对比Transformer架构可定位特定信息无需全局回溯 [4][12] - 自研NEURARK类脑架构突破传统矩阵乘法，实现隐状态管理和无矩阵乘法架构，在算力消耗、存储占用等维度性能提升数倍 [12][17] - 模型支持10B量级参数在FPGA等低制程芯片部署，摆脱对英伟达GPU依赖，可在手机CPU等终端设备离线运行 [10][13] 商业化与行业应用 - 类脑大模型已预部署于医疗、水利、能源等20余个基础设施行业，与国央企合作落地三甲医院、洪涝预警等场景 [15] - 端侧模型覆盖手机、智能家居等消费电子产品，实现百元级设备100%离线部署，如NLM-GPT仅需手机处理器即可运行 [15] - 当前参数规模580亿，计划2025年提升至6000亿，目标逼近人脑100万亿参数规模，推动类脑架构爆发式发展 [16] 行业竞争与战略定位 - 挑战Transformer架构垄断地位，与微软RetNet、Mamba等共同探索降本增效路径，定位为"主权AI"核心自研技术 [3][7] - 联合华为、海光等国产芯片厂商，通过FPGA和ASIC芯片设计唤醒成熟制程性能冗余，突破先进制程限制 [9][10] - 公司女性员工占比超50%，倡导包容性文化，创始人认为女性领导力是长期稳健发展的优势 [16]