以下文章来源于AIGC面面观 ，作者欠阿贝尔两块钱 AIGC面面观 . 整理LLM、AIGC的入门笔记 | 论文学习笔记 | 一线大厂面经 | 探索AIGC落地 作者 | 欠阿贝尔两块钱 来源 | AIGC面面观 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >>点击进入→ 自动驾驶之心 『大模型』技术交流群 主要贡献 1. 高效混合架构设计 ：结合MoE架构与Lightning Attention）的模型MiniMax-M1， 支持百万级上下文窗 口（1M tokens） ，生成长度达80K tokens时FLOPs仅为传统注意力模型的25%。 2. 超越DAPO的算法CISPO ：通过 剪裁重要性采样权重 提升RL效率，相比DAPO实现2倍加速，避免了 传统方法（如PPO/GRPO）对低概率token有更好的采样效果。 3. 可扩展上下文 ：支持从40K到80K Token生成长度的扩展。 本文只做学术分享，如有侵权，联系删文 1.混合注意力架构 Lighting Attention : 采用I/O感知的线性注意力计算，通过分块计算和内存优化 ，将长 ...