DreamPRM是由位于加州的圣地亚哥分校的研究团队所研发，该系统在数学推理领域的权威测评平台MathVista中荣获了榜首之位。该成果的首位作者是博士生高超，而论文的通讯作者则是该校的副教授谢鹏涛。此外，参与该项目的团队成员还包括王睿一、张瑞毅以及萨伊·阿希什·索马亚朱拉。

在纯文本任务中，应用过程奖励模型（PRM）以增强大语言模型的推理功能已取得显著成效；然而，当尝试将这一模型推广到多模态大语言模型（MLLMs）时，我们遇到了两个主要挑战：

为解决上述问题，我们采用了双层优化策略，将数据域权重设定为可训练的参数。这样，我们可以在动态过程中有效削弱低质量数据域的不利影响，并且增强高信息量数据域（例如，那些涉及多步跨模态推理的M3CoT数据集）的积极作用，从而在保证数据质量的同时，实现数据覆盖率的最佳匹配。

DreamPRM 方法在 MathVista 数学推理排行榜上高居第一位。它以多层级优化为基石，构建了一个独立于特定大语言模型的通用框架。这一框架能够与各类多模态大语言模型实现无缝对接，从而显著增强了它们的数学推理能力。

通过有效解决数据质量参差不齐的问题，DreamPRM 成功实现了对多模态过程奖励模型性能的显著增强。

DreamPRM 双层优化框架

技术核心：双层优化机制详解

DreamPRM 的关键突破是将过程奖励模型的训练流程设计为一个可导的双层优化问题，进而通过灵活调整数据域的权重来有效应对多模态推理中的分布偏差和品质不均等问题。此框架由两个相互关联的优化环节构成，它们协同作用，共同促进模型性能的增强。

在底层优化环节，系统并行于15个风格各异的训练区域展开PRM参数的培育。在这些领域里，无论是科学问题的解答还是几何问题的推理，每个数据集都得到了一个不断调整的权重值。

为了展现不同数据区域对整体损失函数影响的差异，具体操作时，系统会分别对每个区域进行蒙特卡洛监督信号的测算。

在给定的中间推理环节，我们通过反复抽样来完善结果，并计算准确率，从而对当前步骤的优劣做出概率性评估。在底层优化过程中，我们采用基于域加权的奖励模型，以输出结果与准确率的均方误差（MSE）损失为依据，对奖励模型的参数进行更新。

在高层优化环节，系统选取了与底层优化训练材料无关、基于 MMMU 筛选的元数据集进行训练。该元数据集经过精心构建，涵盖了30个学科及183个子领域，能够对PRM的推理场景进行真实且全面的模拟，从而对其泛化能力进行有效评估。在顶层优化环节，通过减小聚合后的评估结果与目标答案之间的误差，实现误差的反向传递，进而对各个数据领域的权重进行更新调整。

该双层结构构建了一个能够自我调整的正向反馈机制：那些涉及复杂跨模态推理的高质量数据域（例如M3CoT）会逐步提升其权重，与此同时，那些包含大量简单样本的数据域（例如AI2D）的权重则会相应降低。这一优化过程表现出优异的收敛能力，最初设定的域权重在训练过程中会自然地分化，最终形成与数据域信息密度紧密关联的权重分布。

实验结果

主要性能表现

规模扩展实验

学习到的数据域权重

学习所得的数据领域权重设定在0.55到1.49之间，M3CoT与FigureQA的权重最高，大约在1.5左右，而AI2D与IconQA的权重则相对较低，不足0.8。这种权重的分配方式显著增强了PRM的性能，并且也验证了不同数据集之间在质量上存在明显的区别。

总结

DreamPRM凭借其独创的双层优化策略，有效克服了多模态过程奖励模型在训练过程中遇到的数据质量不均和分布偏差问题。该框架能自动识别并学习不同数据领域的最佳权重分配，使得DreamPRM在五项基准测试中全面超越了传统PRM方法，特别是在处理高难度的数学推理任务时，其表现尤为出色。

实验结果揭示，此方法不仅有效提高了基础模型平均性能达4%，而且能够无障碍地应用于o4-mini等新型模型，并且随着候选推理链数量的增多，其效果持续得到优化。DreamPRM所采用的精细粒度过程监督机制以及可解释的权重分配策略，为多模态过程奖励模型的高效训练开辟了新的路径。