四个审稿人全给6分，NeurIPS唯一满分论文炸了！

之所以说它炸，主要是论文给出的结论实在太出人意料了——

的确是基座模型自身，而非强化学习，才切实决定着推理的上限，并且相较于强化学习，蒸馏更有希望达成大模型的自我进化。

没想到啊，这本该是给正处于如日中天般态势的RLVR（可验证奖励的强化学习），冷不防地朝着它的方向，极具冲击性地猛然泼洒过去一盆冰冷水呢！

RLVR，自开启了自大模型推理范式之后，便成为了一众主流模型的核心驱动力，像OpenAI - o1这样的，还有DeepSeek - R1这样的 。

因为不需要人工去进行标注，借助自动验证奖励来优化模型，它曾经被看作是达成模型自我进化，朝着更高推理能力逼近的最终路径。

但来自清华上交的这篇论文，却让风向陡然生变——

倘若进化的关键，并非存在于这种强化学习之中的话，那么现今围绕着RLVR展开的巨量投入行为，以及相关的各式探索活动，究竟有着什么样非无意义的价值呢？

真正能突破推理上限：蒸馏而非强化学习

这篇论文，其题目为《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? 》，而“获NeurIPS唯一满分”这个结论，是由PaperCopilot统计得出的，PaperCopilot并非官方论文分析平台。

与此同时，它获得了ICML 2025 AI4Math Workshop的最佳论文奖，并且被选入NeurIPS 2025大会的口头报告。

鉴于近年来，RLVR于大语言模型里，被广泛运用以提升数学任务表现，且被广泛运用以提升编程任务表现，还被广泛运用以提升视觉推理任务表现，所以提出了这项研究。

随之而来的是，AI圈普遍假设——

RLVR能够提升推理效率，RLVR还有可能扩展模型的推理能力，所谓扩展模型的推理能力，就是让模型能够学会底层基础模型原本不会的新推理路径 。

但问题是，这一结论真的成立吗？

于是带着疑问，来自清华上交的研究团队核心想要弄清一个问题：

RLVR是不是真的致使大语言模型跨越了其“底模”推理能力的界限，又或者仅仅是对已具备的能力进行了优化呢 ？

而通过一系列实验，团队得出以下最新结论：

也就是说，和普遍所有的认知不一样，RLVR的实际起到的作用大概被极大地高估了。

关键评估指标：pass@k

并且，为了能够从而得到上述所提及的结论，他们选用采用了pass@k这个当中关键的评估指标 。

要说到那个被称作pass@k的东西，它所指的是去衡量一个模型，在经历了多次尝试的情况之下，至少存在着成功一次的那种几率。

相较于某些传统指标，比如greedy decoding准确率，其仅仅反映的是平均表现，它借助多轮采样这样的方式，来揭示模型的推理边界，能够更为精准地判断，模型究竟是“有能力”去解决问题，而并非是“大概率”去解决问题 。

详细来讲，他们将底模、RL模型放置于同一批题目之上再三进行测试，以此来观察其模型究竟是“真正变得聪慧”，亦或是仅仅“更加擅长挑选答案”。

为防止实验结果存在局限性这一状况出现，团队挑选了大语言模型推理能力所涉及的三大典型应用领域，并且搭配了权威基准数据集，以此来保障测试的全面性以及代表性。

该模型以主流大语言模型那一大家子为根基，涵盖Qwen2.5系列，此系列有70亿参数、140亿参数、320亿参数这些类型，还包LLaMA - 3.1 - 80亿参数的模型等，并且打造出“基础模型对RLVR训练模型”这样的对照组合。

所谓RLVR训练模型，乃是经由一系列主流RLVR算法训练而成的版本，这些算法含括PPO、GRPO、Reinforce++等6种，训练后形成多组平行对照。如此一来，既能用以对比RLVR与基础模型之间的差异，又能够对不同RLVR算法的效果展开横向比较。

然后，针对不同的模型，在个个基准任务之上，对pass@k指标，展开多维度的采集，随后进行分析。

对于每一个测试样本，分别给予基础模型以及RLVR模型，去进行不同次数的采样，其中k值是从1开始并逐步提升到1024的，然后纪录每次采样里“至少出现一个正确结果”的概率 。

随后团队重点分析两个关键规律：

一，是在同一个k值的情形之下，RLVR模型跟基础模型之间存在的pass@k差异；二，是伴随k值不断增大，两类模型的pass@k曲线所呈现出的变化趋势。

与此同时，借助模型输出的推理路径困惑度分析，也就是perplexity，以及可解问题子集比对等辅助方式，最终达成对RLVR能力的周全判定。

论文作者介绍

值得一提的是，这项研究还是出自咱们国内研究人员之手。

总计有8位，其中7位是来自清华大学LeapLab的，还有1位是来自上海交通大学的。

担任项目负责人的是Yang Yue（乐洋），其目前是清华大学自动化系的一名四年级博士生，。

研究的方向是强化学习，还有世界模型，以及多模态大模型，另外还有具身智能，在此之前，曾经在颜水成创办的新加坡Sea AI Lab实习过，也在字节跳动Seed团队实习过。

虽说依旧身为学生，然而所发表或者参与发表的多篇论文，都被选入顶级会议。在这些论文里，他作为核心作者所发表的那篇名为《How Far is Video Generation from World Model: A Physical Law Perspective》的论文，由于探究视频模型能不能学会物理规律，还得到了国内外众多大佬，诸如Yan Lecun，xie saining，Kevin Murphy等等的转发。

有一位作者Zhiqi Chen，他的贡献与另一位相同，当前是清华大学自动化工程系的大三学生 。

其研究的方向是，那种推理极为密集的大语言模型的强化学习，，在学校就读期间，曾多次获取国家级的奖学金。

通讯作者是Gao Huang（黄高）,他是清华大学自动化系的讲授副课的教师，同时还是博士生的指导教师，并且还是LeapLab的负责人。

他有一项极为知名的工作，这项工作是发表了一篇论文，论文的题目是《Densely Connected Convolutional Networks》，在这篇论文里，他提出了一个经典的卷积架构模型，这个模型叫做DenseNet。

该论文，不但荣获了CVPR2017最佳论文，并且还被编入了多本深度学习著作，其单篇引用量，近乎接近6万次。

其他作者中，来自清华的还有：

除此以外，有着独一无二身份，来自交大那儿的Zhaokai Wang（这个人叫王肇凯），当下处于上海交通大学，其身份是四年级的博士生 。

先从北京航空航天大学本科毕业，当时在北京同时拿到了北大的经济学学士学位，现在于上海人工智能实验室通用视觉团队也就是OpenGVLab那里实习 。

关于这项研究，团队作者特地于论文主页着重表明：这并非是讲强化学习没有用处了。事实上呢，它在某些低采样场景之中依旧是极为实用的。

有网友发现，有意思儿的是，DeepSeek在一年前的一篇论文里也提及了相关现象 ，以及 。

这些发现显示出，强化学习借由让输出分布变得更为稳健，进而对模型的整体表现予以提升，也就是说，性能的提高好像是源自促使正确答案现身于TopK的结果里，而并非源自基础能力的强化。

而这一次，结论被用论文完整论证了。

论文：

用于表述地址这无法进行符合要求的语句改写，你可提供其他合适的句子让我进行改写 。