Pos2Distill团队 投稿

量子位 | 公众号 QbitAI

有这样一种情况，语言模型遭遇到十分严重的位置偏见，也就是模型对于不同上下文位置的敏感度并非一致，模型存在一种倾向，这种倾向是过度关注输入序列里的特定位置，而这严重制约了它们在诸如复杂推理、长文本理解以及模型评估等关键任务上的表现。

例如，在对比两个候选答案的情形下，模型常常会因为对首个选项存在偏好，进而损害它作为评估器所具备的公正性，以及它作为评估器所具备的可靠性。

对于这一挑战，论文给出了Pos2Distill，它是什么呢，是一个创新的“位置到位置”蒸馏框架。这个框架目的在于干什么呢，乃是将模型于优势位置所具备的强大能力转移到劣势位置，进而能够有效缓和位置偏见。

那核心思想，就如同古语所说的那般，是“解铃还须系铃人”，要依靠利用模型自身已经习得了的知识，以此来纠正模型自身的系统性偏差。

其基本原理能够予以概括，即借助位置自身致使的性能不均衡，以此对抗位置偏差这个问题。

团队看出，位置偏差当中情况存在区别有所异样现象产生显示于，处在名为“检索”以及人称“推理”这样子，两类任务里面引发出来的呈现表现并不相像，所以依据上述核心原理，团队另行分别制造设计规划两种专门特意专门定制为此专门特地只针对此的实现方案，分别为Pos2Distill-R1和Pos2Distill-R2 。

自从采⽤Pos2Distill这种⽅法呀之后呢，模型于⻓⽂本检索这个任务当中，在所有相应位置上都有了更好的⼀致性表现。同时呢，在推理这个任务的所有位置上，模型同样展现出了更好的⼀致性表现。另外呀，这两个专⻔被设计好的⽅法所对应的系统呢，不仅在各⾃所对应的任务位置上表现得相当优异，并且呢，彼此之间还呈现出了很强的关于任务的跨任务泛化能⼒。

存在这样的情况：在信息丰富的场景里，像检索增强生成，还有长上下文推理，以及把大语言模型当作评判者这样的情况，位置偏差构成了重大障碍。而当关键信息被任意分布在输入的各个位置时，大语言模型常常不能够有效识别和整合这些核心内容，致使其最终在各种应用中出现意外的失败。为缓解位置偏差问题：

句号不能丢，注意断句，尽量多拆成⼩句⼦，别遗漏重要信息，不要加多余的词，按要求改写句子，让读起来超级拗口难读，又不能改变原本主题。

另有⼀类研究⽅法，采⽤着密集的上下⽂感知训练，借助合成具备细粒度信息感知的训练数据，以此来提升模型性能。然而，这类数据驱动的⽅法，往往在数据合成以及计算资源⽅⾯都要付出⾼昂的成本。

因此，学术界急需一种策略，这种策略可克服这些局限，它同时具备有效性和高效性，以此去缓解PB，并且，⼯业界也迫切需要这样一种策略 。

方法

先进⾏先导实验，通过分析将其揭示出来，PB在“检索”这种任务范式下呈现出不同的行为，PB在“推理”这种不同的任务范式下也表现出不一样的行为。

对于检索任务而言，PB主要呈现为一种称作“词元偏移”的情况，也就是在黄金文档所处位置存在差异之时，大部分的response具备相似的前缀，只是在关键的生成位置出现分歧，进而导致retrieval失败，一旦那些错误的token能够得到修正，模型便能够输出正确答案 ；

推理任务里，化合物PB呈现于检索进程中的变动，还展现于推理进程里出现的变化，这份变化致使思想链条产生偏移，也就是思维的转换。所以，借助整合确实相关的信息以及推理链去重新构建整体的回应轨迹，这是极为关键的 。

针对于此的两种情形，相应地开展了两个系统的开发工作，即 Pos2Distill - R1 以及 Pos2Distill - R2，Pos2Distill - R1经由对 KL 散度（Kullback - Leibler divergence）损失采取引入举措来供给细粒度的纠正信号，借此对检索任务里的“词元偏移”予以缓解。

Pos2Distill - R2，借助蒸馏源自优势位置输入的优质CoT响应，来对劣势位置的推理轨迹予以指导与纠正，进而解决推理任务里的“思维偏移”。

算法进行设计，该设计适用于检索，具体是 Pos2Distill - R1 用于检索 。

5. 从，而，缩，小，无，效，位，置，与，优，势，位，置，之，间，的，差，距。

在每个生成步骤期间，为了对token shifting这种行为起到作用，利用KL散度当作细粒度的对齐信号，从而实现平凡位置激活。

位置感知进行对齐，PB引发的优势位置，与不同平凡位置之间，存在对齐难度，此难度具有位置依赖性，所以具有高对齐难度的位置需优先实施梯度更新。

因此激活平凡位置的损失为：

优势位置的锚定，在蒸馏过程当中，模型会察觉到关键信息或许出现在上下文窗口的任何位置，这种情况可能会降低对优势位置也就是 sink position 的显著注意力，进而有可能损害在多样下游任务里的整体能力，为防止出现这一问题而引入锚定损失，以此去保持优势位置的有效性。

用于训练的目标所产生的损失，它融合了激活损失以及锚定损失，具体的形式化表示呈现为：

算法进行设计，关于Pos2Distill - R2用于推理的那种设计：

首先，从具有优势的位置，采样用以链式思维（CoT）的推理轨迹；类似于那种执行检索任务的进程，借助每组位置构建（K）个不一样的平凡提示；过后拿交叉熵（CE）损失函数，对于提示以及与之对应的推理轨迹（Cadv）予以优化，从而能够有效地捕获推理模式；形式化地进行表征为：

实验

关于Pos2Distill - R1 的实验结果， Pos2Distill - R1呈现出鲁棒且一致的性能，不管黄金文档处于怎样的位置，都明显削减了因位置而产生的性能差异，比如，在WebQ数据集里， Pos2Distill - R1让Llama - 3 - 8B在20个位置上达成了56.7%的平均准确率。该性能，与处于最佳“汇聚位置”（sink position）的 dgold 得以达到的 57.9% 相当，这表明，从优势位置到劣势位置的知识迁移，是成功的，而这，恰恰是 Pos2Distill - R1 的核心原理。

由于PB源自大语言模型的架构与参数，所以有可解释性结果，希望通过分析Pos2Distill - R1的内部动态机制来揭示其作用原理并提供可解释性说明。记录当黄金文档从1移动到20时，对20个文档的注意力分布。Pos2Distill - R1通过动态地将注意力焦点持续对齐到相关文档上，强化了上下文一致性，促进了更为准确的检索。

Pos2Distill-R2进行实验得出的结果是，在域内性能方面，Pos2Distill-R2超越了现有的自我训练方法，在域外泛化方面，Pos2Distill-R2同样超越了现有的自我训练方法。对于此，如表2所示，当在MusiQue数据集上训练时，Pos2Distill-R2达成了精确匹配即42.8的EM得分，该得分优于所有处于领先地位的基线。此外，本方法展现出强大的跨领域泛化能力；比如，在HotpotQA数据集方面，它达成了58.3的EM得分，而最强的基线模型是50.9。研究结果显示，和传统的逐实例训练相较，训练大语言模型于多样化、分散的黄金文档位置上开展推理，或许能更有效地强化其长上下文推理能力。这一洞见为提升复杂长上下文任务里的推理能力给予了新视角。

关于两个系统的讨论：

均展现出显著泛化能⼒，针对其中相互任务，两个系统。具体来讲，Pos2Distill-R1主要针对检索任务优化，证明其增强的上下⽂检索能⼒，改善了⻓上下⽂推理，于MusiQue任务上产⽣3.3%增⻓。相反，Pos2Distill-R2为推理任务优化，表明其在⻓上下⽂中获得的推理熟练度，增强了上下⽂感知，有益于检索性能。

尽管存在这种跨任务泛化，但每个系统在其主要领域都表现卓越：

Pos2Distill - R2，在复杂一点的长上下文推理那种任务方面，取得了更为优良的性能表现，然而，Pos2Distill - R1，在这些任务之上，呈现出滞后的表现情况，在检索任务方面，却恰恰相反发生这样截然相反的情形。

这显示出，缓解位置偏差，也就是PB，有着不一样的底层动态，并且有可能受到思维链，即CoT，存在或者缺失的作用。所以，对这两种专门化的Pos2Distill设计进行开发，被证实是既必要且有效的。