据智东西1月1日消息，在昨日晚间的时候，DeepSeek团队送出了一份新年“贺礼”，它正式发布了新论文《Manifold-Constrained Hyper-Connections》，并且提出了一种带有稳定训练功能且能够提升大模型可扩展性的残差连接新方案。

梁文锋，身为DeepSeek的创始人兼CEO，此次之际，同样是出现在了合著名单的里面了。

论文核心所指出的是，当前存在像Hyper - Connections（HC）这样的连接结构，这种连接结构能够带来性能方面的提升，然而，因为其结构呈现出复杂的状态，并且还缺乏相应的约束，所以往往出现一系列问题，比如说训练不稳定现象的出现 、信号出现失真情况 、甚至导致梯度爆炸等问题 。

处于27B模型里，HC的多层残差映射致使在反向传播期间信号最大放大倍数快要接近3000，有着梯度爆炸风险。

为此，DeepSeek提出了mHC（即Manifold-Constrained Hyper-Connections）方案，该方案把HC中的残差映射矩阵投影到由双随机矩阵构成的“流形空间”，此操作在保留拓扑表达力的同时，还恢复了原始残差连接的恒等映射性质。

DeepSeek所提出的mHC结构，借助流形投影，对残差连接的稳定性予以了重建。

经由实验证实，此一mHC方法存在于大规模训练期间展现出显著稳定性的情况 ，其仅仅引入了6.7%的训练时间开销，，于多个下游任务里面超越了HC 以及Baseline模型。

对于8个下游任务而言，mHC全方位的实现了对HC的超越，其中，在BBH以及表示增长幅度为2.1%的情况下表现卓越突出，并且，在DROP以及增长幅度为2.3%时，展现出了更为显著的成绩。

一、传统残差连接的升级难点：性能提升，但稳定性丧失

当下主流的模型，普遍采用Residual Connection架构，它的核心优势是，拥有“恒等映射”特性，能够稳定信号的传播，防止在训练过程中，信号出现衰减或者放大的情况。

但是，近些年来，像Hyper - Connections（HC）此类的结构，为了能够提升表达的能力，从而引入了更为复杂的连接拓扑，把残差通道扩展成n倍的宽度，并且借助多个能够学习的映射矩阵，对输入以及输出特征开展重组 。

可是，HC的自由形态把恒等映射约束给打破了，致使训练的时候出现了信号爆炸的情况（最高放大到3000倍），或者出现梯度异常的问题。

对比于mHC，传统Hyper - Connections在训练进程之中呈现出明显异常稳定的状况，就如上图所示那样，接着其残差关联于更深一层的叠加里露出前项信号以及反向梯度呈指数级别的放大难题，恰似下图所表示般，进而演变成大模型扩充的隐性阻碍 。

另外，HC明显提升了GPU内存的占用和通信带宽的需求，并对其在更大型规模模型之内的使用效能加以了限制。

二、mHC关键机制：将残差映射投影到“流形”上恢复恒等映射

DeepSeek提出的mHC本质上是对HC的稳定性重构。

在mHC把残差映射投射到双随机流形之后，前向信号以及那反向梯度传播的稳定性，确实因此获得了颇为显著的提升 。

其关键核心之处在于，并非再直接应用没有约束的残差映射矩阵H_res，却能够透过Sinkhorn - Knopp算法把它投射到“Birkhoff多面体”（也就是双随机矩阵流形）之上。

这一投影操作使H_res具备以下三大性质：

1、所有行列和为1，具备能量守恒性，避免信号放大或衰减；

2、在矩阵乘法下闭合，即跨层传播仍保稳定性；

首先，它具备几何可解释性，其次，它还是所有排列矩阵的凸组合，最后，这种特性有利于特征信息融合， 。

该论文当中还提及，把输入映射H_pre做了正值约束，并且，把输出映射H_post同样做了正值约束，如此一来，能够进一步防止信号抵消现象的出现。

mHC所对应的残差映射矩阵，其更为偏向集中于1这个数值的附近区域，与之形成对照的是，HC却存有着多个出现爆炸情况的点，。

三、实测效果：mHC显著提升训练稳定性与下游表现

从那以后，论文针对Baseline、HC以及mHC这三种模型，在27B参数规模的情况下，对它们的训练表现以及推理性能展开了对比测试。经过实际测量所得到的结果显示，在大规模训练的场景当中，流形约束超连接也就是mHC这个模型，相较于传统超连接也就是HC这个模型，有着非常明显突出的优势。

在训练稳定性这个方面，将传统残差、HC以及mHC相互进行对比，HC在训练期间损失呈现震荡发散的状况，梯度出现爆炸现象；mHC损失呈现平稳收敛的态势，梯度趋于稳定 。

流形约束超连接（mHC）的训练稳定性

经过分析能够表明，HC的复合映射增益高到了3000，这表现为信息处于一种爆炸的状态，然而mHC却是在1.6这个数值上进行有效控制，其状态近乎于理想的恒等映射，并且信号所具备的保真度也是挺高的 。

这表明，借助双随机流形约束，mHC有力地对多层叠放里的信号扩大以及梯度爆炸难题施以抑制，使得损失曲线能够平稳地趋向于收敛，让梯度范数维持稳定状态，从而将HC因数值不稳定促发的训练发散弊病予以解决 。

在性能表现这块儿，27B模型于BBH任务中（51.0相较于HC的48.9），显著强过HC与基线，取得了显著增益，最高提升幅度达到2.3个百分点，这验证了其在复杂推理上边儿的优势。同时，在DROP任务里（53.9相较于51.6），同样显著优于HC与基线，验证了其在这里的优势。另外，GSM8K、MATH、MMLU等任务中，也显著优于HC与基线，验证了其在这些任务中的优势，同样取得显著增益，取得的最高提升达2.3个百分点，验证了其在复杂推理与语义建模里的总体优势。

基准测试

在可扩展性这一方面，对3B - 27B模型进行了验证，mHC性能的增益随着规模的扩大呈现出保持稳定且甚至有所增强这样的情况，就像DROP提升从1.5变为2.3那般，这显示出在深层大模型里信号保真的需求是更高的，并且展现出了良好的泛化能力以及深层适配性，而在1T token训练的情况下不存在过拟合现象，泛化能力得到了增强。

(a) 计算扩展曲线；(b) token扩展曲线

在系统效率这一方面，借助内核融合来进行相关操作，还有重计算以及通信重叠优化，当mHC处于扩展率n = 4的情况时呢 仅是引入了6.7%的额外开销，通过内核融合（带宽提升了22%），重计算（内存降低了40%）以及流水线优化（GPU利用率大于90%），达成了高效训练，其工程可行性是很高的。

结语：mHC或为下一代基础架构指明演进方向

mHC属于HC范式的广义扩展范畴，能够在未来研究方面，开辟出多条前景广阔的路径 。

DeepSeek团队谈及结论里言，虽说本次研究运用双随机矩阵以保障稳定性，然而此框架能够接纳面向特定学习目标筹划的多种流形约束探寻。他们进行预估，对于几何约束特性的进一步研究兴许会产生新奇方法，进而在可塑性跟稳定性之间达成更出色的权衡。

另外，研究团队期望mHC能够再度唤起学界针对宏观架构设计的兴趣，借由深入领会拓扑结构怎样对优化以及表征学习产生影响，mHC或许会有助于冲破当下的限制，并且有可能为下一代基础架构的发展点明新的方向。