来源：机器之心 新年第一天， DeepSeek 发布了一篇新论文，提出了一种名为 mHC （流形约束超连接）的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳定 性问题，同时保持其显著的性能增益 。 简单来说， DeepSeek 提出的 mHC 通过将传统 Transformer 的单一残差流扩展为多流并行架构，并利用 Sinkhorn-Knopp 算法将连接矩阵约束在双拟随机 矩阵流形上，成功解决了超连接（HC）在大规模训练中因破坏恒等映射属性而导致的数值不稳定和信号爆炸问题。 这篇论文的第一作者有三位：Zhenda Xie（解振达）、Yixuan Wei（韦毅轩）、Huanqi Cao。值得注意的是，DeepSeek 创始人 & CEO 梁文锋也在作者名单 中。 传统的残差连接（即 Transformer 中的 x + F (x) 结构）凭借「恒等映射」保证了信号无损传输和训练稳定性。但它的瓶颈在于信息通道的宽度受限于隐藏层维 度 C。 从根本上破坏了残差连接固有的恒等映射属性，导致了严重的训练不稳定性和受限的可扩展性，并额外增加了显著的内存访问开销。 为了解决这些挑战，DeepSeek 的研究团 ...

DeepSeek发布新论文，梁文锋参与署名。 图为残差连接范式的示意图。本图对比了 (a) 标准残差连接、(b) 超连接以及 (c) 流形约束超连接的结构设计。与无约束的HC不同，mHC通过将连接矩阵 投影到一个约束流形上，专注于优化残差连接空间，从而确保训练的稳定性。 论文在结论与展望部分指出，实证结果表明，mHC能有效恢复恒等映射特性，相较于传统HC，能以更优的可扩展性实现稳定的大规模训练。关键的是， 通过高效的基础设施级优化，mHC以可忽略的计算开销实现了上述改进。 1月1日消息，DeepSeek发布了一篇新论文，提出了一种名为mHC（流形约束超连接）的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳 定性问题，同时保持其显著的性能增益。这篇论文的第一作者有三位：Zhenda Xie（解振达）、Yixuan Wei（韦毅轩）、Huanqi Cao。值得注意的是， DeepSeek创始人梁文锋也在作者名单中。 内部大规模训练结果显示，mHC可有效支持规模化训练，当扩展率=4时，仅带来6.7%的额外时间开销。 论文摘要指出，近来，以超连接（HC）为代表的研究通过拓宽残差流宽度和多样化连接模式，拓展了 ...

来源：机器之心 新年第一天，DeepSeek 发布了一篇新论文，提出了一种名为 mHC （流形约束超连接）的新架构。 该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题，同时保持其显著的性能增益 。 简单来说，DeepSeek 提出的 mHC 通过将传统 Transformer 的单一残差流扩展为多流并行架构，并利用 Sinkhorn-Knopp 算法将连接矩阵约束在双拟随机矩阵流形上，成功解决了超连接（HC）在大规模训练 中因破坏恒等映射属性而导致的数值不稳定和信号爆炸问题。 从根本上破坏了残差连接固有的恒等映射属性，导致了严重的训练不稳定性和受限的可扩展性，并额外 增加了显著的内存访问开销。 为了解决这些挑战，DeepSeek 的研究团队提出了Manifold-Constrained Hyper-Connections （mHC，流形 约束超连接）。 这篇论文的第一作者有三位：Zhenda Xie（解振达）、Yixuan Wei（韦毅轩）、Huanqi Cao。值得注意 的是，DeepSeek 创始人 & CEO 梁文锋也在作者名单中。 传统的残差连接（即 Transformer 中的 x + F ...