机器之心报道

机器之心编辑部

推理训练推动大语言模型产出长链式推理过程，这种做法在某些层面上辅助它们探寻解题路径并实施自我验证。尽管如此，该模式提升了正确率，却导致语境信息量增大，token消耗与计算开销增加，同时答案反馈时间变长。

所以，一个疑问产生了：现有的系统是否能够运用其反思本领，在这一点最优解集合中，生成其他搭配方案，比如在减少背景信息量以及 / 或推迟处理时，依然能提升精确度？

针对这一议题，Meta超级智能实验室等机构的研究者展开研究，伦敦大学学院、Mila、Anthropic等单位的学者也参与其中。从理论高度分析，他们将大型语言模型看作是提升其认知能力的工具，用以达成多种潜在目标。

研究者考察了一种推理方法系列，名为并行 - 蒸馏 - 精炼，该系列方法包含以下环节：首先同时产出多种不同方案，然后把这些方案压缩到一个小型文本库中，接着在这个文本库上进行优化，最后得到的成果将作为下一阶段的起始材料。关键在于，借助并行级别的变更，PDR 可调节语境的规模，进而影响运算开销，并且语境的规模无需与生成的符号总量相混淆。

该模型在 PDR 场景中的实践显示，其准确度超过长思维链，且响应时间更短。若并行度调为 1，会形成一种特殊形式——顺序精炼（Sequential Refinement, SR），这种模式通过逐个优化候选答案来运作，结果比长思维链更佳，但需付出更长的处理时间。

这种模型组织的成功引发了一个疑问：后续的训练是否能够调整帕累托前沿？为了探究这个疑问，研究人员开发了一个 8B 规模的推理模型，借助强化学习技术，促使该模型符合 PDR 推理方法的要求。

在设有已知正确解的数学问题上，反复处理的流程按照既定次序计算时，比一次性分析的方法表现更优，其中渐进式检测技术贡献了最显著的增长，针对 AIME 2024 和 AIME 2025 的数学挑战，正确率分别增加了百分之十一和百分之九。

LLM 作为改进操作符

研究者着眼于任务 x，比如数学问题，目的在于用限定数量的 token，产出高水准的最终结果 s_final，可能是答案、论证或代码。设定 M_θ 为一个大型语言模型，它既可固定参数也可继续训练，充当优化工具。当前已获得的生成结果 s_t，以及压缩的文本处理区域 C_t，系统将生成一个优化方案，

数据输入输出循环，每个环节：首先，获取当前处理区域 C_t，其次，借助 M_θ 生成优化后的结果 s_t+1，最后，运用集成算子 D 将结果精简到一个限定区域，以便下一环节启动。

token 预算。研究者在以下两个预算下评估每种方法：

操作符实例化

研究者探究了以下两种短上下文的迭代精炼流程。

一是顺序精炼（SR，单一候选的深度改进）。

对于任意 t，令 C_t 等于空集，并且反复优化单个成果执行 R 次

优化布局与提升效率，需要集中处理。SR 方法里，并没有设定明确的工作区域。研究人员还尝试了一种改进方案，就是在每个循环阶段加入问题诊断环节：系统不会立刻修正过去的回答，而是先找出当前输出中的不足之处，再提出修正后的版本。这些记录在每个阶段都作为临时的、局部的处理平台。

二是并行 - 蒸馏 - 精炼（PDR，每轮工作区）。

研究者的记忆不会持续太久。他们每次在 r = 1 到 R 的每个步骤里，都会同时生成 M_r 份草稿，这些草稿是从当前的简短摘要中抽取出来的。接着，他们会将这些草稿重新整合，形成一个简短摘要，以便在下一轮继续使用。

最后一次采用单一生成模式 M_R 等于 1, 这个生成结果将作为最终答案 s_final 返回。摘要的生成过程是分阶段的, 并且不具备持续性, 先前产生的文本不会被再次呈现, 这种方式有效控制了每次交互时信息量的累积。

另外，研究者考虑了蒸馏操作符 D 的几种实际实例化方式：

最终进行运算符统一性训练。先前把 M_θ 当作固定，完全凭借指令 / 安排。当前，研究人员在测试时一样的简短语境重复交互界面下调整模型，以此保证训练过程和实施 / 推理环节的吻合。

基础算法方面，针对基准强化学习，研究者以 Minimax-M1 的 CISPO 目标为依据。针对特定提示 x，生成器 π(・| θ_old) 会依据旧策略 θ_old，产生 G 个回合 {o^G_i=1}。专用工具例如 sympy 和 math-verify，用于为各轮次计算数值奖励 r_i（正负一值）。CISPO 将 GRPO 的组间相对优势，同 REINFORCE 算法融合，实现特定目的。

PDR 训练过程为何仅执行一次循环，专家指出，单次 PDR 循环（涵盖 M 份初始草稿，经提炼为 C，再实施一次优化）能够精准锁定核心接口，同时有效约束 B_total 值并确保强化学习效果稳定。而在推理阶段，则可借助相同的操作符开展多次循环（循环次数 R 超过 1）。

这项研究的数据融合策略既维护了长序列的处理能力，又提升了模型在短周期内的分析性能，PDR 被设计成一个包含并行处理、知识传递和结果修正的完整流程，在此阶段，系统会接收输入数据对和上下文信息，同时依据验证性反馈机制对最终输出路径进行动态调整优化

实验结果

根据预算感知机制，研究者把按序优化与并行提取再优化这两种处理方式，同长链推理的参照测试做了对照分析。他们借助符号检验工具（比如 sympy 和 math-verify）来评估精确度，同时把数据体现为按序预算 B_seq（对应接受路径的时延指标）以及总体预算 B_total（所有函数调用的 token 总量）的关联值。

研究者考察了 SR 和 PDR 在推理过程中作为操作符用于数学问题的效果。针对提示 x，模型会形成一个思考过程和最终答案。思考过程用 「...」 标记，去掉这部分后，仅保留独立的答案用于下一轮的输入构建。他们通过 AIME 2024 和 AIME 2025（AoPS，2025）进行考核，并且公布在 16 次分开测试中的正确率 - mean@16。

通过实验，研究者试图回答以下四个研究问题：

RQ1：短上下文迭代是否在匹配延迟的情况下超越长轨迹？

图三和图九展示了针对相等的有效 token 总量 Bseq，AIME2024与AIME2025的准确度表现。分析发现，当采用长思维链方法转为顺序优化策略后，准确率呈现平稳增长趋势；而当进一步从顺序优化转为并行 - 蒸馏 - 优化方法时，这种提升效应得以延续。

针对 o3-mini，当整体可用额度为 49k token、单次进行深度思考的额度为 16k token 时，其表现有了显著改善，具体体现在准确率上，从原先的 76.9（长链推理）进步到 81.5（SR）以及 86.7（PDR），与传统的长思维链模式相比，准确率提升了 9.8 个百分点。gemini-2.5-flash 从 SR 到 PDR 的提升幅度不如 o3-mini，这说明 gemini-2.5-flash 在自我校验方面的能力更优。

RQ2：哪种蒸馏（即摘要）策略效果最佳？

表 2 探讨了在预设轮次，即每轮产生次数为 g = ，以及每轮仅考虑 k = 2 个候选方案的情况下，PDR 系统中蒸馏算子 D 的表现情况。

在不同数据集和基础模型中，样本级别的 top-k 和全局摘要选取结果更为接近，相比之下，共享 top-k 和随机-k 的相似度更低，而且当思维预算 B 不断增大时，这种差异性会越来越明显。

AIME 2025 和 o3-mini 这两种情况比较特殊，全局摘要的表现要优于其他技术。研究者分析，o3-mini 的摘要能力特别强，能够从对的和错的草稿里找出重要信息，这些信息在后续的蒸馏环节中，又能帮助实现更高级的后续优化。

RQ3：验证能力如何影响推理时间性能？

通过对比图 6 和图 8 的数据，可以看出采用错误选项（Oracle (错误)）会使得所有模型的运作效果出现明显衰退。针对 o3-mini而言，其效果减损程度远超 gemini-2.5-flash，这说明后者拥有更出色的自我检查和调整机制。这一现象在 AIME 2024 以及 AIME 2025 中均有显现。

RQ4：操作符一致性训练是否推动了帕累托前沿的移动？

表 3 展示了核心发现。每个强化学习目标对应的模型都针对长思维链生成与 PDR 开展了测试。与基准方法相比，PDR 强化学习在 AIME 2024 比赛中的表现提高了 3.34 个百分点，在 AIME 2025 比赛中的表现提升了 1.67 个百分点。

从基础 RL 检查点出发的持续改进，让额外的 PDR 强化学习实现了更显著的进步，在 AIME 2024 和 AIME 2025 中分别提高了 5.00 和 4.59 个百分点，另外，研究者发现，采用 PDR RL 训练时，长距离推理链的生成也得到了一定程度的改善。

这些发现指出，借助符合操作符规则的学习目标来训练，能够缩小训练阶段和实际应用阶段的差距，把额外的运算能力转化为更高的精确度，同时不会提升每次使用时所需的步骤成本。

更多技术细节和实验结果请参阅原论文。