核心观点 - DeepSeek提出的流形超连接通过将传统Transformer的单流残差架构扩展为多流并行架构，并利用Sinkhorn-Knopp算法将混合矩阵约束在双随机流形上，从根本上解决了超连接在大规模训练时因破坏恒等映射属性而导致的信号爆炸和数值不稳定问题[1] - 第三方工程师成功复现了mHC，并在1.7B至2.5B参数规模的测试中，观测到无约束超连接产生了高达**10,924倍**的信号放大，远超DeepSeek论文中在**27B**参数下报告的**3000倍**放大，验证了mHC约束对于大规模模型稳定性的必要性[5][52][54] 技术架构对比：标准残差、超连接与流形超连接 - **标准残差连接**：自2016年以来成为Transformer的基石，采用`x + F(x)`的单信息流设计，通过保持恒等映射来确保梯度流动的稳定性和信号幅度的守恒，但表达能力有限[9][12][13] - **超连接**：将单一信息流扩展为`n`条并行流，并引入三个可学习的、无约束的混合矩阵来路由和组合信息，理论上具有更强的表达能力且计算开销可忽略，但混合矩阵能不受控制地放大信号，导致规模化训练时信号爆炸[14][15][16] - **流形超连接 (mHC)**：DeepSeek的解决方案，核心是将关键的混合矩阵通过Sinkhorn-Knopp算法投影为**双随机矩阵**，该矩阵所有条目非负且行和、列和均为1，从而确保混合操作只能对流进行加权平均和路由，而**不能放大信号**，在保持表达能力的同时强制实施了稳定性[25][26][28] 复现实验的关键发现 - **小规模实验 (10M参数)**：无约束HC在激进学习率下信号放大达到**7倍**，验证损失均值为**0.884**，优于mHC的**1.116**，但HC的损失方差是mHC的**3倍**，且Amax值在不同种子间在**6.1至7.6倍**间摆动，而mHC的Amax稳定在**1.00**，零方差[24][36] - **大规模实验 (1.7B-2.5B参数)**：在C4数据集上训练，HC表现出极端的不稳定性，在**32层**模型上最大Amax达到**10,924倍**，在**48层**模型上达到**3,721倍**，而mHC在所有配置下Amax严格保持为**1.0**；尽管最终损失值相近，但HC内部积累了巨大的不稳定性风险[54][56][61][63] - **不稳定性起源**：分析表明，不稳定性始于**第0层**的输入混合矩阵，该层直接处理未经层归一化的原始嵌入向量，在HC中容易学习通过放大来进行补偿，而mHC的Sinkhorn约束防止了任何层的漂移[74][75] - **压力测试结果**：在**3倍正常学习率**下，HC的**64层**模型Amax达到**14,765倍**并剧烈振荡，而mHC在所有配置和学习率下Amax均保持**1.0**，展现了其强大的鲁棒性[84][85][86] 规模化定律与风险本质 - **不稳定性随规模指数增长**：数据显示，模型参数从**10M**增至**1.7B**时，HC的Amax从**9.2倍**跃升至**10,924倍**；根据趋势外推，参数达**10B**时Amax可能升至约**50,000倍**，达**100B**时可能接近**400,000倍**，未发现自我修正迹象[66] - **风险性质是“定时炸弹”**：尽管在实验的5000步内，即使信号放大超万倍，HC模型因梯度裁剪等措施并未崩溃，损失也未发散，但这种不断积累的不稳定性在更长时间训练、更高学习率或更大规模下，存在导致训练灾难性失败的临界点[90][91][97] - **mHC的根本价值**：mHC通过原则性的数学约束（双随机流形）而非技巧，彻底消除了HC固有的信号爆炸故障模式，为构建更庞大、更稳定的Transformer模型提供了可扩展的架构基础[45][48][49][93] 行业影响与工程启示 - **架构演进方向**：mHC代表了对Transformer核心组件（残差连接）的一次重要革新，在保持甚至增强表达能力的同时，通过数学保证解决了规模化训练的稳定性瓶颈，可能开启架构设计的新篇章[1][45] - **工程实践建议**：对于实现超连接的团队，必须使用**Sinkhorn投影**来约束混合矩阵；在训练期间应密切监控**Amax**指标，特别是**第0层**的输入混合矩阵，作为网络稳定性的早期预警[98][101] - **性能与稳定性权衡**：实验表明，mHC的约束在**1.7B参数**规模下并未带来明显的性能损失，其最终损失与HC和标准残差连接相近，表明该稳定性保证的“代价”极低，在大规模下是必要且划算的[57][59][101]

文章核心观点 - DeepSeek发布论文《mHC: Manifold-Constrained Hyper-Connections》，提出对Transformer架构最基础的残差连接组件进行重要改进，这是该领域十年来的一次根本性创新 [1] - mHC旨在解决其前身技术Hyper-Connections带来的训练不稳定问题，通过引入数学约束（双随机矩阵）为连接权重加上“数学护栏”，在保持性能提升的同时确保训练稳定 [5][10] - 这项创新不仅是算法突破，更展示了DeepSeek将复杂数学方案高效落地到大规模训练系统中的顶尖工程能力，是其核心竞争优势的体现 [15][16] 技术演进背景 - 残差连接由何恺明等人于2015年提出，其核心公式y = x + F(x)解决了深度神经网络的梯度消失问题，使训练成百上千层的网络成为可能，并因此获得CVPR 2016最佳论文奖 [3] - 自2017年Transformer问世以来，残差连接成为几乎所有主流大模型（如GPT、Claude、Llama、DeepSeek）的架构标配 [3] - 2024年9月，字节跳动提出Hyper-Connections，将单一残差流扩展为多流并行架构，实验显示能显著提升模型性能，在MoE模型上实现1.8倍的收敛加速，但带来了训练不稳定的新问题 [5] - 从ResNet到Hyper-Connections再到mHC，这是一场跨越十年的技术接力演进 [5] mHC的技术原理与创新 - mHC的核心创新是将连接权重矩阵约束在“双随机矩阵”的数学空间内，该矩阵所有元素非负，且每行、每列元素之和均为1 [10] - 此约束的数学效果是使输出信号成为输入各分量的“凸组合”（加权平均），确保结果不会超过输入最大值，从而防止信号在多层传播中被无限放大，保证了能量守恒 [10] - 双随机矩阵的谱范数恒小于等于1，这意味着对应的线性变换是“非扩张的”，无论前向还是反向传播，信号都不会被无限放大 [10] - 具体实现采用Sinkhorn-Knopp算法，通过交替进行行归一化和列归一化迭代生成双随机矩阵，论文表明仅需3次迭代即可达到足够精度，且整个过程可微分，支持端到端训练 [11] - 该方案未引入新超参数，也未改变模型表达能力，只是为权重矩阵增加了可证明的安全边界 [12] 实验效果与影响范围 - 实验结果显示，在7B规模的Dense模型训练中，采用mHC的模型全程未出现任何Loss尖峰 [12] - 在MoE模型上，mHC实现了与Hyper-Connections相近的约1.8倍收敛速度提升 [12] - 这是一个“富人的问题”，训练不稳定问题仅在训练超大规模模型（例如270亿参数以上）时才会显现，对DeepSeek等前沿实验室是必须解决的工程难题，普通研究者可能不会遇到 [10] 工程实现与公司能力 - 为了让理论上完美的数学方案落地，DeepSeek未调用现成库，而是直接手写底层CUDA内核代码，利用算子融合技术将复杂计算塞进毫秒级的训练循环中 [16] - 公司采用了激进的“选择性重计算”策略，并在多卡训练中开辟专用计算流来掩盖通信延迟 [16] - 这种将算法灵感稳定、高效地落地到整个算力体系（包括重写内核、内存管理、节点通信）的工程能力，被认为是前沿实验室的标志，也是DeepSeek的最大优势 [16] - 业内评价认为，这篇论文表面是架构论文，实际上是DeepSeek“秀肌肉”的硬核工程论文 [15] 战略意义与发展脉络 - mHC符合DeepSeek近两年的发展主线：在有限资源下，通过架构创新最大化效率，用数学约束解决工程问题，用架构创新突破资源瓶颈 [14] - 根据DeepSeek研究员与Kimi研究员的交流，hyper-connections（mHC的技术根基）被认为是2025年最值得关注的两大架构创新之一，这意味着mHC可能只是公司在这条技术路线上的第一步 [14] - 如果mHC被整合进下一代模型，结合此前的一系列技术和工程创新，可能会催生一个在效率、性能和稳定性上全面升级的新架构 [15] - DeepSeek创始人梁文锋出现在论文的19位作者名单中，显示了公司高层对该技术创新的直接参与和重视 [1]

核心观点 - DeepSeek团队于2026年发布新论文，对深度学习基础组件“残差连接”进行了重大升级，提出了一种名为“Modified Hyper-Connections (mHC)”的新方法，旨在解决现有扩展方案“Hyper-Connections (HC)”的稳定性问题，同时提升模型性能 [1][27] - 该方法通过将残差映射矩阵约束为“双随机矩阵”，从理论上保证了深度网络训练时的稳定性，并通过一系列工程优化控制了计算开销 [11][36] - 实验证明，在高达270亿参数规模的混合专家模型上，mHC能实现稳定训练，并在多个下游评测任务上超越基线模型和HC方法，性能提升显著 [22][47] 技术背景与问题 - 残差连接自2016年ResNet提出以来，因其“恒等映射”特性成为深度学习架构的基石，并广泛应用于Transformer及GPT、LLaMA等大语言模型 [5][6][31][32] - 近期出现的Hyper-Connections试图通过将残差流宽度从C维扩展到n×C维（引入三个可学习映射矩阵）来提升性能，其中负责残差流内部信息交换的Hres矩阵贡献了最显著的性能提升 [7][32] - 但HC在扩展到深层网络时存在严重隐患：复合映射不再保持恒等性质，导致训练不稳定 [9][34] - 在270亿参数模型的训练中，HC在约12000步时出现突发损失激增和梯度范数剧烈波动 [9][34] - 研究团队计算发现，HC的复合映射对信号的放大倍数峰值高达3000倍，意味着信号在层间传播可能被剧烈放大或衰减至近乎消失 [10][35] 核心解决方案：双随机矩阵约束 - DeepSeek论文的核心思路是将残差映射矩阵约束到由双随机矩阵构成的Birkhoff多面体上 [11][36] - 双随机矩阵约束带来三个关键理论性质：1) 范数保持（谱范数≤1），防止信号放大和梯度爆炸；2) 组合封闭（多个双随机矩阵相乘仍为双随机矩阵），确保深层网络复合映射的稳定性；3) 几何上可解释为对特征做凸组合，是一种稳健的特征融合机制 [14][15][39][40] - 团队采用Sinkhorn-Knopp算法将任意矩阵投影到该流形上 [16][41] - 实验证明该方案有效：在270亿模型中，mHC的复合映射信号增益最大值约为1.6，与HC的3000峰值形成三个数量级的差距 [16][41] 工程优化 - 扩展残差流宽度带来额外内存开销：标准残差连接每个token需读取2C、写入C个元素；而HC需读取(5n+1)C + n² + 2n、写入(3n+1)C + n² + 2n个元素，当扩展率n=4时增量可观 [19][44] - 团队使用TileLang框架实现多个融合内核，合并操作以减少内存访问次数 [19][44] - 为Sinkhorn-Knopp算法设计了专门的前向和反向内核，在芯片上重计算中间结果以避免存储开销 [19][44] - 扩展了DualPipe调度策略，通过将MLP层特定内核置于高优先级计算流，实现计算与通信的重叠 [19][44] - 论文给出了最优重计算块大小的优化公式，并选择将其与流水线阶段边界对齐以提升效率 [20][45][47] 实验验证与性能表现 - 实验在30亿、90亿和270亿三个规模的混合专家模型上进行，扩展率n设为4 [22][47] - 在270亿MoE模型上，mHC展现出稳定训练曲线，最终损失相比基线降低0.021，同时保持了与基线相当的梯度范数稳定性 [22][47] - 在下游任务评测中，mHC在BBH推理任务上比HC提升2.1%，在DROP阅读理解任务上提升2.3% [22][47] - 具体评测数据对比（270亿模型）： - **BBH (EM)**: 基线43.8， HC 48.9， mHC 51.0 - **DROP (F1)**: 基线47.0， HC 51.6， mHC 53.9 - **GSM8K (EM)**: 基线46.7， HC 53.2， mHC 53.8 - **HellaSwag (Acc.)**: 基线73.7， HC 74.3， mHC 74.7 - **MATH (EM)**: 基线22.0， HC 26.4， mHC 26.0 - **MMLU (Acc.)**: 基线59.0， HC 63.0， mHC 63.4 - **PIOA (Acc.)**: 基线78.5， HC 79.9， mHC 80.5 - **TriviaOA (EM)**: 基线54.3， HC 56.3， mHC 57.6 [23][48] - mHC在大多数评测任务上表现超过基线和HC [23][48] - 计算缩放曲线显示，mHC的性能优势在更高计算预算下仍能保持，仅出现轻微衰减 [23][48] - 对30亿模型的token缩放曲线分析表明，mHC的优势贯穿整个训练过程 [23][48] - 内部大规模训练实验进一步证实结论，当扩展率n=4时，mHC仅引入6.7%的额外时间开销 [25][50]