大模型架构创新 - 神经元级稀疏激活技术CFM通过原生稀疏特性提升参数效率，相比MoE实现更细粒度（神经元级别）的动态激活，资源消耗降低同时保持性能[3][6][8] - CFM参数效率优势直接体现为节省显存和内存，尤其适合内存受限的端侧应用场景[7] - MoE因需固定激活专家数量（Top k）以控制训练负载均衡，无法实现CFM的强动态性[11] 模型架构技术路线 - 当前架构优化分为两派：线性派（Mamba/RWKV）和Transformer改进派（KV缓存管理/FFN稀疏化）[14] - Transformer成为主流兼具必然性（硬件彩票效应）与偶然性，其核心优势在于无需调参即可实现规模扩展[17][18] - 纯线性架构在长文本任务（如RULER评测）中仍落后Transformer，混合架构可能突破局限[16][36] 端侧部署与模型压缩 - 端侧小模型定义参数规模约2-3B，面壁智能已开源4B模型并部署于手机/智能家居等场景[21][24][25] - 低精度计算（FP8/FP4）成为趋势，2025年将更广泛应用但需配套设计保障效果[27] - 多模态小模型表现接近大模型，差距主要体现在知识调度与理解能力[28][29] 未来技术方向 - 长文本推理与思维链（CoT）是下一突破点，需解决状态回溯与多路径探索问题[32][33] - 创新能力将成为关键，AI需突破预训练语义空间实现未知领域探索[35] - 大模型不可能三角（计算复杂度/性能/并行化）尚未解决，信息压缩导致线性架构长文本劣势[38][39] 行业动态 - 面壁智能采用积木式组合构建高效任务模型，开源MiniCPM-3-4B并探索数十B级项目[11][24] - DeepSeek已开源FP8算子推动行业低精度计算普及[27] - 强化学习技术路线（如o1）需提升硬件利用率以实现深度思考与超长思维链生成[30][31]