状态空间模型与Transformer的权衡 - 状态空间模型(SSM)通过固定大小的隐藏状态压缩历史信息，实现流式处理，而Transformer需要缓存所有历史token导致内存线性增长[24] - SSM在字节级建模任务中表现优于Transformer，即使后者使用更多计算资源，表明Transformer存在建模能力局限[53][55][56] - SSM与Transformer结合使用时(比例3:1到10:1)表现更优，类似人类智能通过大脑与外部数据库协同工作[29][30] Transformer的局限性 - Transformer需要数据预处理如tokenization或图像切块，本质上是对其建模缺陷的补偿[35][38][41] - 注意力机制对噪声token处理效率低下，计算量仍随token增加而增长，无法有效过滤冗余信息[69][70] - Transformer的归纳偏置使其过度关注单个token，在低语义密度数据(如字符/DNA序列)上表现较差[62][64][65] 现代循环模型技术演进 - Mamba通过动态转移矩阵、并行扫描算法和内存管理三大技术要素整合，实现与Transformer相当的语言建模性能[13][14][16] - 现代循环模型研究呈现爆发式增长，包括RWKV、xLSTM等变体，共享SISO线性递归和状态扩展核心特征[17][19] - SSM类模型在DNA建模等任务中展现优于Transformer的扩展能力，预示其在处理原生数据方面的优势[60][61] 架构设计哲学 - SSM类似大脑的压缩记忆机制可能促进抽象学习，而Transformer类似数据库的精确召回各有利弊[27][78] - 理想架构应具备处理噪声能力而不增加计算负担，当前模型均未完全解决此问题[71][72] - 扩展定律显示Transformer并非计算效率最优方案，存在改进空间以更好利用FLOP资源[87][88]

序列模型架构比较 - Mamba作为状态空间模型(SSMs)代表，在语言任务上3B规模超越同等Transformer，匹敌两倍规模Transformer [2] - SSMs工作方式类似人类大脑，通过压缩历史信息形成固定大小隐藏状态，适合处理长序列且计算成本呈线性增长 [15][16] - Transformer通过KV缓存完整记录所有token信息，具备精确记忆能力但计算成本呈二次复杂度 [23][25] 模型性能优势 - SSMs在语言/音频/DNA序列模态实现SOTA，计算效率高且内存需求固定 [16] - Mamba通过三大关键改进提升性能：扩大状态维度至RNN的N倍/引入选择性记忆机制/优化训练效率 [17][18][19][20] - Transformer依赖tokenization预处理，在多语言多模态场景存在局限性且违背端到端学习原则 [28][29][30] 架构融合趋势 - 混合架构中SSM层与注意力层最佳比例介于3:1至10:1之间 [37] - 注意力机制二次复杂度并非Transformer主要缺陷，新架构将保持兼容性 [5][7] - 未来方向是结合SSMs的在线处理能力与Transformer的精确检索优势，直接处理原始数据 [36][40] 行业技术发展 - Mamba作者预告几天后将发布架构领域重大进展 [3] - 当前共识可能被推翻，Transformer被视为阶段性最优解而非最终方案 [8] - 架构设计核心指标是FLOPs利用率，需快速转化为模型能力 [39]

循环模型与Transformer对比 - 线性循环模型（如Mamba）和线性注意力机制能处理极长序列，这是其相较于Transformer的关键优势，后者受限于二次计算复杂度和有限上下文窗口[1][2] - 过去循环模型在短序列任务中性能不如Transformer，但近期架构突破使其性能显著提升，已在音频建模、代码补全等工业场景中应用[3] 循环模型的长度泛化问题 - 循环模型在训练长度范围内表现良好，但超出训练长度时泛化能力明显下降，例如Mamba-2在超出训练范围的序列位置困惑度急剧恶化[4][5] - 现有循环模型在长序列和短序列两个维度均未显现明显优势，处于效率与性能的双重瓶颈[6] 长度泛化解决方案 - 通过500步后训练（占预训练预算0.1%）可使循环模型在256k长度序列实现泛化，证明其潜力未被充分释放[7] - 提出"未探索状态假说"：循环模型失败主因是训练时未接触长序列递推产生的状态分布，导致对未知状态处理能力不足[13][14][15] - 四种初始状态干预方法：随机噪声、拟合噪声、状态传递（SP）、TBTT，其中SP与TBTT效果最佳，仅需原始预训练预算0.02%即可实现泛化[19][20][23][24] 干预方法的效果验证 - 在370M参数模型中，拟合噪声干预有效但随机噪声无效；1.3B大模型因状态依赖复杂，需更高级干预手段[25][26] - 干预措施能稳定状态范数增长，提升模型输出稳定性[27] - 在BABILong、密码检索、合成复制三项长上下文任务中，干预后模型表现显著提升，780M模型可完美解决256k序列密码检索任务[31][32][33][35][36][38][39] 上下文处理机制优化 - 提出"有效记忆（EffRem）"指标量化模型对历史token的依赖程度，发现未干预模型对早期token存在不合理依赖[44][45][46][48][49][50] - 状态传递干预后，模型有效记忆曲线呈现理想梯度，优先关注最近上下文，符合自然语言处理需求[51][52]

量化模型与构建方式 1. **模型名称：Mamba-MoE** - **模型构建思路**：通过Mamba架构高效提取时间序列特征，结合混合专家模型（MoE）进行多模型融合，同时引入线性与非线性的风险约束以降低风险暴露[2][3][44]。 - **模型具体构建过程**： 1. **任务一（Alpha因子生成）**：使用Mamba模块处理股票特征序列（维度为`(batch_size, window_length, feature_num)`），通过卷积和SSM（选择性状态空间模型）提取时序特征，输出Alpha因子[27][30][32]。 - SSM离散化公式： $$\bar{A}=\exp(\Delta A),$$ $$\bar{B}=(\Delta A)^{-1}(\exp(\Delta A)-I)\Delta B.$$ 2. **任务二（非线性风险因子生成）**：构建异质图（节点为股票风险因子，边包括同行业关联和高相似度关联），通过图卷积生成非线性风险因子[47][48]。 3. **损失函数**：结合Alpha因子与风险因子的相关性惩罚项： $$L=MSE(\hat{y},y_1)+MSE(\hat{r},y_2)+\frac{\alpha}{d_R+1}\sum_{i=1}^{d_R+1}\rho(\hat{y},R_i)^2.$$ - **模型评价**：双任务学习显著降低风险暴露，提升因子稳定性；MoE融合增强模型泛化性[53][56][72]。 2. **模型名称：Mamba-10与Mamba-5** - **构建思路**：分别以10日和5日收益为标签训练模型，通过交叉验证生成多个子模型，等权或MoE融合[98][99]。 - **具体构建**：5折交叉验证扩展窗口训练，MoE路由器结合股票特征与市场特征动态加权[98][99]。 --- 量化因子与构建方式 1. **因子名称：Mamba-MoE合成因子** - **构建思路**：融合Mamba-5和Mamba-10的多模型输出，结合风险中性化约束[103][137]。 - **具体构建**： - 对Alpha因子进行行业市值中性化处理。 - 通过MoE加权合成，路由器输入包括股票特征和市场特征（如指数收益率、VIX等）[98][99]。 - **因子评价**：稳定性优于单模型，对市值暴露控制较好，但对低波动和低流动性有一定暴露[103][137]。 2. **因子名称：非线性风险因子** - **构建思路**：捕捉风险因子间非线性交互及股票关联信息[44][48]。 - **具体构建**：基于CNE6风险因子构建异质图，通过GNN生成非线性风险因子[48][49]。 --- 模型的回测效果 1. **Mamba-MoE模型** - Rank IC：13.22%，ICIR：1.28，多头年化收益：33.01%，多空Sharpe Ratio：9.25[103][137]。 - 沪深300增强年化超额收益：9.02%，跟踪误差：4.26%[156]。 2. **Mamba-10模型（双任务）** - Rank IC：12.83%，ICIR：1.28，多空最大回撤：11.71%[56][72]。 3. **行业风格中性化测试** - 双任务设定下Rank IC衰减至8.81%，但多空Sharpe Ratio仍达11.49[72]。 --- 因子的回测效果 1. **Mamba-MoE合成因子** - 全市场十分组测试：多空年化收益125.32%，波动率13.55%[103]。 - 分域测试（中证1000）：Rank IC 11.12%，多空Sharpe Ratio 7.17[137]。 2. **非线性风险因子** - 与流动性因子相关性：-20.74%（双任务）[78][79]。 --- 关键创新点 - **风险中性化**：通过损失函数直接约束风险暴露，避免组合优化时的信号扭曲[44][50]。 - **多模型融合**：交叉验证与MoE集成缓解分布漂移问题，提升稳健性[2][98][99]。 - **高效计算**：Mamba的线性复杂度优于Transformer，支持并行训练[23][31]。

线性注意力机制的发展历程 - 线性注意力机制从2021年开始探索，当时被视为"看起来很美好的泡泡"，但公司团队坚持投入研发 [5][21] - 2023年底验证了15B规模的纯线性方案效果接近Transformer，但发现召回能力存在缺陷 [35] - 最终采用7层线性注意力混合1层Softmax注意力的架构，在4560亿参数模型上实现应用 [36][37] 技术优势与验证过程 - 线性注意力理论计算复杂度从二次降为线性，长序列处理速度比Full Attention快2700倍 [11][44] - 通过3700次预训练测试验证技术可行性，涵盖不同参数规模和架构方案 [41][42] - 在7B参数以上模型规模时，线性注意力优势开始明显显现 [16][17] 行业竞争格局 - 线性注意力与稀疏注意力是当前两大改进方向，2023年后线性方向热度上升 [17] - 公司认为线性架构上限更高，未来在长文本赛道具备优势 [50][51] - 目前行业对线性注意力仍存在非共识，部分认为其属于有损优化 [52][53] 产品化与战略布局 - 公司将80%研发资源投入线性架构模型开发，视为重大战略转型 [31][48] - 下一代计划推出深度推理原生多模态模型，预计4-5月发布 [58][60] - 开源4560亿参数模型MiniMax-01，但未提供小尺寸版本 [57] 技术挑战与解决方案 - 线性注意力存在GPU并行化难题，通过Lightning Attention提升实际运行效率 [22] - 召回能力缺陷通过混合架构解决，测试不同比例后选择1:7方案 [36][38] - 多模态实现采用adapter形式而非原生方案，以快速验证效果 [48]