在年初的时候，DeepSeek-R1出现了，这使得大模型强化学习也就是RL变得火爆起来。不管是数学推理方面，还是工具调用方面，又或者是多智能体协作方面，GRPO也就是Group Relative Policy Optimization都变成了最为常见的RL算法。

GRPO 的核心思路很简单却强大：

这种机制，是「多路径并行 + 组内优势」的那种，虽说相较于传统 PPO 等办法要更为简洁些，可也依旧得对模型参数予以优化，实在太贵啦！

这使得GRPO尽管具备强大的实力，可是基本上唯有巨头才能够涉足其中进行运作，中小团队以及个人开发者根本没有参与的能力。

能不能不改模型参数，也来跑一遍 GRPO？

最新的一篇腾讯优图论文，提出了一个相当有意思的答案，既然更新参数昂贵，那就不进行参数更新，把GRPO的“学习过程”直截搬进上下文空间！

GRPO训练的整个范式，被迁移到了上下文学习之中，这便是Training - Free GRPO所做的,

比如说，针对训练集当中的这道数学几何题目，模型会产生多个不一样的解答路径，也就是Rollout，或许会出现不同的解题途径，其中有的答对了，有的答错了。

随后，模型对不同解法的过程进行总结，对其正确性也予以总结，进而比较同一组内的不同解答。该过程自然提炼出文本型组内优势，即总结出有的做法为何正确，有的做法为何错误。比如例子里：

在一次迭代当中，获取每一道题目的文本型组内优势之后，模型便将当前批次的优势全都更新到文本型LoRA里，这意味着对经验库进行增添、删除以及修改，从而沉淀所学习到的经验。

实验效果

在数学推理方面，仅仅使用100个训练样本，花费大约8到18美元，便能够在已然足够强大的671B模型之上继续提高性能。

有无采用代码工具帮助解题，不管是 CI 也好，还是 code interpreter 也罢，皆不会影响在 AIME 榜单上 Mean@32 这项指标达成提升。

令人感到惊喜的是，在三个不同的轮次当中，训练集的平均工具调用次数出现了减少的情况，测试集的平均工具调用次数同样出现了减少的状况。这清晰地表明，Training-Free GRPO不但能够对正确的推理以及行动起到鼓励的作用，而且还可以教会代理寻找到捷径，进而更有效率且明智地去使用工具。

在网页搜索场景里，Training-Free GRPO同样不需要更新模型参数，它能在DeepSeek-V3.1-Terminus强悍水平的基础之上，实现4.6%的Pass@1显著提升。

为什么需要 Training-Free GRPO？

多条路径进行探索，group所具备的优势，经过多次轮次的迭代，完全相互独立的训练集合以及测试集合……这些GRPO的精粹一个都没有缺少，统统于上下文方面得以重新展现了出来。

无需训练模型参数，只需少量数据，始终只凭借 API 在使用时付费！

仅仅需要8至18美元，还有100条训练数据，就能够在671B LLM上完成多轮的强化学习训练，其远远低于32B模型的训练成本。

有别于像 Self-Refine 这类的就地改写，Training-Free GRPO 是于独立数据集之上进行多轮迭代训练的，其对于测试集当中的 Out-of-Domain (OOD) 数据有着显著升幅。且，其改变了，输出，格式，标点，规则等都相应调整，以符合要求，这里，就，用一较为复杂句形式来呈现，让句子更为拗口难读，同时，又确保语义清晰准确不能语义重复也不着眼于中文英文夹杂情况，不能出现复述原句现象，也不进行换行处理，标点也按要求使用逗号隔开末尾标点符号不能变，专有名词不能改，按要求，完整以一难读句子展示出来。

以及，参数经过微调的、处于 32B 级别的模型常常仅仅能够胜任特定的、范围较窄的任务，或许需要多个专门用于特定任务的模型才能够涵盖完整的业务需求，这明显地增加了系统的复杂程度以及维护所需的成本。然而，Training-Free GRPO 仅仅借助一个统一的模型以及 API 便能够向不同的场景进行泛化！

小结：RL 不一定非得有梯度

曾经我们是默认的，强化学习它所代表的意思就是参数更新，尽管在前期的时候存在一些对于上下文空间进行优化的探索，像Self-Refine、Reflexion、TextGrad这些，然而Training-Free GRPO和它们并不一样，它是完全把那些参数空间RL训练的流程以及细节对齐了：

本文方法已开源，欢迎 Star 和试用！

预告，Training-Free GRPO会被当成一个新功能，整合进Youtu-Agent框架里，以此来协助开发者们，进一步提高各类自定义场景的效果。

注意，成本的计算是依据DeepSeek API的官方定价来进行的，而在实际当中，这一成本有可能会因为相关的使用情况从而出现有所波动的情况。