金磊 发自 凹非寺

量子位 | 公众号 QbitAI

是时候给Transformer的大动脉动刀子了。

即便是在当下，它虽处于AI世界基石的地位，然而其自身所存在的问题，也是极为显著的，因为。

只要当碰上疑难的数学题目，或者是碰到得历经多步逻辑推导的状况时，便毅然决然地胡言乱语起来……

问题究竟出在了哪里？

答案隐匿于Transformer的的核心机制之中，那便是Attention 。

传统Attention机制究其根本仿佛是类似于一种配对比较行为：每每一个词仅仅同另外一个词直接产生关联，进而生成一份注意力权重。 ### 解析。

这种架构，虽说在捕捉长距离依靠方面颇为擅长，然而在针对建模此项行为，面对复杂、多跳以及多点之间的逻辑关联之际，却展现出了力不从心的态势。

比如它能够轻易领会“A认识B”这种情况，然而要是让它去理解“张三借助李四结识了王五”，也就是多跳、多点之间那种繁杂、间接的关系时，它的思维路径就显得深度不足，推理能力的上限立刻就碰到了顶点 。

现在，这个天花板，被华为诺亚方舟实验室捅破了！

先是因为就在最近，然后团队推出了一种全新架构，架构的名字叫做Nexus，而这个Nexus也就是高阶注意力机制，也就是Higher-Order Attention Mechanism。

它能够说是径直击中了注意力机制的核心难题，运用更高级别的注意力，才能够有效地构建并呈现多跳、多维度点与点之间的复杂关联关系。，。。。，。，。。，。

并且从实验结果来看，效果也是有点惊艳在身上的。

一经换上Nexus这个全新架构，模型于数学以及科学等繁杂推理任务方面的能力，皆能够立刻达成显著提升，并且还是那种参数毫无增加的情形。

妙哉，着实妙哉。

接下来，就让我们一同来深入了解一下Nexus的精妙一刀。

高阶注意力机制砍出的精妙一刀

想要去理解高阶所具备的意义，我们必然得先后回顾传统自注意力机制存在的根本缺陷。

用于生成Query (Q)、Key (K)、Value (V) 的是将输入序列X分别通过三个线性变换WQ，WK，WV，而标准的自注意力机制本质上是通过softmax计算注意力权重 。

但当中浮现一个关键问题，此问题就是，Q是静态的、是与上下文丝毫无关的、属于线性投影此类，K同样是静态的、是和上下文没有关联的、为线性投影那般。

打个比方，存在这样一种情况，关于某个token的Query向量，它是仅仅仅凭这个token自身来决定的，这个Query向量没办法去感知别的token是否存在；而鉴于这种情况，就致使注意力权重仅仅能够反映出两两之间所存在的直接关系。

精妙第一刀：Q和K的革新

华为诺亚方舟实验室所采用的首个刀法，极为精妙地砍在了这个部位：此为，Nexus致使Q与K的生成进程自身也转变成为一项注意力操作。

也就是说，在计算最后那关乎最终结果的Q以及K之前，token会先行一回“预推理”，而就这个进程而言，它实际上身为一种嵌套着的自注意力机制 。

Token先是借助这个内部循环，于全局上下文中聚合资讯，构筑成一个更为精炼、更有上下文感知本领及意识的表示，之后再凭此表示去运算最终的Q，还有计算最终的K。

比如说，在你向我提出问题，我做出回答，也就是进行Q和K计算Attention这个行为之前，每一个token都已经预先在其内部展开了深入细致且周全完备的思考，尽数充分吸收了它于整个序列里的环境方面的信息。

这种方式所生成的Q以及K呀，自然而然地就脱离了线性投影那种死板僵硬的状态呢，从而拥有了能够捕捉复杂关系的动态特性呀。

精妙第二刀：巧用递归框架

最精妙的Nexus架构之处，在于其有递归框架，这递归框架是Recursive Framework 。

这个内部注意力循环可以被递归地来嵌套。

倘若我们把一层Attention界定成一阶关系，具体而言就是A认识B，那么把Attention的输出当作下一层Attention的输入，如此一来便能够构建二阶关系，也就是张三通过李四认识王五，甚至是更高阶的关系。

于Nexus里，这般递归嵌套被精巧地整合于一个单层架构内，以此塑造出一条层次化的推理链。

论文进一步将上述过程递归化，定义第m阶注意力为：

这里面，m等于1的时候，那属于标准注意力；m等于2的情形下，意味着Q和K是经由一次内层注意力给生成出来的；m等于3的状况中，表明Q和K是由二阶注意力来促使而生成的，这等同于“注意力内部的注意力里的注意力”，明白了吧。

这种结构天生具备支持多跳推理链的特性，如同人在解答一道数学题之际，首先会去明白题干里的关键变量（第1层），接着会思索它们相互之间的公式关系（第2层），最终会检验整体逻辑能否保持严谨恰当（第3层）。

精妙第三刀：不增参数

更高的计算开销以及更多的参数量，常常是复杂架构所带来的结果，然而Nexus借助精巧设计，将这些问题完全规避掉了，其采用的是权重共享策略。

详细来讲，不管是内层的注意力模块，还是外层的那部分注意力模块，均重复使用同一组投影权重WQ，同样的WL，以及相同的WV。

这表明，即便计算路径更为繁杂，然而模型参数量和最初的Transformer是全然相同的。

这种设计的背后存在着这样一个关键的假设，不管是处于递归的哪一种不同层数的层级，把当作符号的token影射生成犹如搜索条件般称为Query或者当作关键要素称作Key的语义的变换方式是相似的。

团队通过实验证明，这一假设是成立的。

在Pythia - 70M的消融实验里头，使用权重共享的那种叫作Nexus - QK - Shared的版本，平均准确率却还是比基线要高出将近1个百分点，并且参数量根本就没有增加。

这使得Nexus变成了一种极为高效的表达强度增强装置，借助一样的参量，达成更优异的推理本领，句号。

只要换上Nexus，推理效果立竿见影

那么Nexus的效果到底如何？

论文分为两个维度进行验证，其一为从零开始训练的小模型，其二是针对已有大模型的架构进行改造。

小模型全面领先

研究团队于Pythia系列，也就是70M到1B这个范围，开始全新训练Nexus，之后又在六个标准推理数据集上，开展评估工作，这六个数据集分别是ARC-C，ARC-E，HellaSwag，LogiQA，PiQA以及SciQ。

结果呈现出高度一致性，针对所有不同的 scale，此 Nexus 均展现出远远超越原始 Transformer 的卓越表现，最后是以句号结尾。

尤其在需要多步推理或科学常识的任务中提升显著。例如：

这表明，Nexus在处理那些无法借助表面模式匹配来解决的问题方面，具备特别突出的能力，它确实是在进行推理 。

大模型改装即用

面对规模更大的模型，Nexus还体现出了即插即用的能力。

团队把Qwen2.5的1.5B版本的标准注意力层，直接弄成了Nexus结构，团队还把Qwen2.5的7B版本的标准注意力层，同样直接变为Nexus结构，并且团队仅仅是在SFT（监督微调）阶段开展训练，对于预训练权重，团队没有进行改动。

有结果显示，于三个具备高难度水准的数学推理基准之上（分别是MATH - 500、AIME24、GPQA - Diamond），Nexus均达成了稳定的提升，：

特别需要留意的是，那属于有关于在AIME24方面的提升，鉴于此种类型的题目需有着极为严格的多步骤逻辑性推导这个情况，一旦出现一步错误，那么就会达成全盘均失败的整体结果，Nexus的改进得以表明这样一个情况，即其的确是在内部构建了更为连贯的那一条推理链 。

依照这一角度去看的话，Nexus可不是简简单单的一个新训练范式而已，它更是一套架构升级的套件呢。你并不需要去重新训练一个千亿级别的模型，仅仅是在微调的阶段把注意力层给替换掉，便能够开启拥有更强推理能力的大门啦。

推理能力可内生于架构

虽然Nexus目前聚焦于语言模型，但其思想具有普适性。

在视觉里，高阶关系建模很关键，于图神经网络中，它也会起到关键作用，在多模态任务方面，同样是关键所在；比如说，在视频理解之时，有这样一种情况，其中“A看到B打了C”，这是一个显著至极的三元关系事例，这种情况下，传统Attention难以直接进行捕捉。

华为的诺亚团队宣称，接下来要探寻Nexus于视觉Transformer以及多模态大模型里的运用，并且对其计算效率予以优化。

被视为 Transformer 智商上限的存在，也许向来并非取决于参数的数量，而是在于其注意力机制展现而出的表达能力。华为诺亚所开发的 Nexus，以一种兼具优雅与高效的形式，为这一关键模块赋予了高阶推理的能力。

它并非借助堆料来达成，也不是依靠提示工程来实现，而是于架构底层对模型的思考方式予以了重新构建。

此所以，Nexus亦向我们作出提示：有些时候，聪慧的架构比规模尺寸上的大小相较于更具重要性。