蚂蚁百灵团队轻量级推理模型Ring-lite——

在AIME24/25、LiveCodeBench、CodeForce、GPQA-diamond等多项推理排行榜上，轻量级推理模型达到了SOTA水平，其性能可与10B以下、激活参数仅为3倍大小的Dense模型相媲美，这进一步证明了MoE架构在推理方面的巨大潜力。

它基于百灵开源的MoE架构Ling-lite-1.5（总参数量达16.8亿，其中激活参数仅为2.75亿）进行开发，并通过运用独创的C3PO强化学习训练技术进行训练。

Ring-lite深入研究了在RL训练过程中的稳定性问题、Long-CoT SFT技术以及RL中token的分配策略，同时亦探讨了多领域任务联合RL训练的挑战，并据此推出了Ring-lite的三大技术创新项目。

他们分别是：

轻量级推理模型Ring-lite实力如何？

该团队对比了业内具有代表性的轻量级推理模型，涵盖了Qwen3-8B、AceReason-Nemotron-7B以及DeepSeek-R1-Distill-Qwen-14B等多种模型。

采用了最常用的复杂推理榜单做横向对比评估，效果如下：

数学推理：

AIME24的得分达到了76.61，而AIME25的得分为69.11，这两项成绩都超过了对比模型。

编程竞赛：

LiveCodeBench测试中，我的得分达到了60.66分；而在CodeForces平台上，我的得分百分比高达86.45%，这个成绩超过了对比的模型。

科学推理：

GPQA-diamond的得分达到了61.05，这一成绩与表现最出色的对比模型相差无几。

综合考量了该榜单的平均得分，其结果超过了所有参与比较的模型，与此同时，Ring-lite在实现这一成绩的过程中，仅动用了2.75亿的激活参数。

此外，团队对Ring-Lite在2025年高考的数学与物理试题中的应用效果进行了检测。

在经过多次测试且成绩遍布126至138分区间的数学全国一卷上，Ring-lite实现了大约130分的优异成绩。

2025年高考物理北京卷第十七题测试

主要技术亮点

稳定强化学习训练的C3PO

在Long-CoT SFT处理后的模型中，团队在GRPO训练阶段遇到了显著的训练波动问题，这主要体现在策略模型的梯度范数波动剧烈，同时系统的吞吐量也出现了显著的波动。此外，在达到一定训练步数后，奖励值出现了大幅下降，并且无法恢复。

如图a所示，在执行基于不同训练轮数（epoch）的SFT模型进行强化学习（RL）训练的过程中，普遍存在训练失败的情况。然而，这种失败的步数各不相同，通常情况下，随着SFT训练轮数的减少，训练崩溃的时机会相应推迟。此外，我们还发现熵（entropy）与奖励的崩溃现象之间存在显著关联，即随着SFT训练次数的增加，强化学习阶段的起始熵值（图b）往往较低，这会使得训练崩溃的风险大大提升。

分析结果表明，GRPO在训练阶段的长度变化与梯度范数的波动以及系统吞吐量的波动之间存在着显著的关联性；这是因为长度的变动会直接作用于优化器在每一个训练步骤中接收到的token数量。

针对这一问题，他们提出了

C3PO强化学习训练策略，通过在每一步中固定传递给优化器的总训练token数量，以此确保训练过程中的梯度范数稳定以及系统处理能力的均衡。

尽管该方法在训练过程中会舍弃部分token，然而，凭借恰当的训练token挑选策略，我们能够有效防止性能的下滑，并且确保训练与系统处理量的稳定。图中展示了C3PO技术与常规的样本层级训练方法之间的对比，指出样本层级筛选方法无法确保每个训练步骤中token数量的统一性，仅能确保样本总数的一致性；与之相对，C3PO则严格确保token数量的一致性。

因为梯度范数的变动对长度减少的影响更为显著，他们进行了对比试验，以探究C3PO与GRPO在这一问题上的差异表现。

图中可见，随着response-length的减少（图a），Policy的梯度范数（GradNorm）呈现出上升趋势（图b），这导致了优化过程的不稳定性，并可能引发reward的降低（图c）。与此同时，当response-length下降时，系统的整体吞吐量也呈现出下降态势（图d）。C3PO通过设定token级别的训练预算，整体性能变得更加稳定。在此基础上，我们进一步采用熵损失（entropy loss）作为依据，挑选出适合作为RL训练起点的Long-CoT SFT模型，成功解决了奖励值突然大幅下降的问题。

依据token效率这一标准，对SFT与RL的训练比例进行划分。

在Long-CoT SFT与RL的两阶段训练过程中，一个关键问题在于如何合理划分两个阶段的训练比例，这包括对数据与算力的合理分配。尽管业界已提出多种两阶段训练方案，但仍缺乏相应的理论解析和实践指导。

他们基于token效率这一视角对问题进行了探讨，我们觉得，在实现相同训练成效的前提下，SFT与RL相结合的总token数量越少，其token效率就越高；反之，则越低。因此，我们可以通过RL标记或SFT标记来衡量这两种权衡的比重，从而确定一种能够更优地平衡效果与token效率的策略，这一策略相较于仅采用Long-CoT SFT或仅采用RL的方法，具有更为明显的优势。

研究发现，仅凭SFT模型的基准测试结果来挑选适合进行强化学习训练的基础模型并非最佳策略，且这种方法可能诱发之前所述的奖励急剧减少的问题。他们指出，存在一种特定的分配策略，能够实现更佳的效果与token效率之间的平衡（如图所示）。

在实践操作中，我们通过设定entropy loss的合理区间，挑选出适宜的SFT模型作为起始模型，这样做能够实现与图中展示的效果及token效率之间的平衡。

分阶段训练缓解跨领域任务冲突

在 Ring-lite 的训练过程中，我们实施了数学、编程以及科学任务的综合训练策略。结果显示，与仅专注于单一任务的训练相比，采用多任务混合训练方法会导致分数有所降低。这一现象在多个模型上通过实验均得到了验证。如表格所示，在Ring-lite模型中，基于Ring蒸馏技术训练得到的Qwen模型，以及采用Deepseek蒸馏方法得到的Qwen模型，均呈现出了相似的效应。

最终，团队决定采取分步骤的策略，即先专注于数学任务的训练，随后再进行代码与STEM领域的综合训练。这种方法相较于一开始就将三者混合训练，更能有效地减轻不同领域之间的冲突。

高质量的Long-CoT和RL训练数据

他们构建了大规模高质量的长推理链数据和强化学习训练数据集。

在数据构建领域，我们实施了“开源资源融合与自主搜集”的复合策略，既全面整合了数学、编程、自然科学等多个学科的高品质公开数据集，又特别增加了众多学科竞赛的真题，涵盖国际奥林匹克竞赛、ACM编程竞赛等知名赛事的历年考题，以此保障数据的学术价值和挑战性。

在数据处理阶段，我们构建了一个包含多个步骤的数据质量控制框架，这其中包括对低质量数据的过滤、语义层面的重复内容去除、数据的净化清洗以及专家级的审核流程，从而确保了数据的高质量。

在数据管理领域，我们实现了对样本的细致化管理，对每一个数据样本都进行了多维度属性标签的标注，这些标签涵盖了数据的来源、学科的主题、适用的教育阶段，以及依据模型通过率计算出的难度系数。

凭借这些详尽的标注资料，运用强化学习技术对数据进行动态选取，实现了训练数据领域的有效整合，从而大幅提高了模型训练的效率，并在处理复杂推理任务时表现更为出色。

Long-CoT SFT数据

为了提升基础模型的推理效能，他们精心打造了一个集成了长链思维（Long-CoT）特性的优质数据集。整合了开源题库和LLM生成的素材，我们采用了“自动生成、专家标注、拒绝采样”的循环改进步骤，并对数据进行了精细的清洗（剔除了重复和杂乱无章的语言等干扰），最终构建了一个以数学（占比64.5%）、编程（占比25.5%）以及科学（占比9.2%，其中包含Ling团队自主研发的科学数据合成方法“SHARP”所生成的高难度样本）为核心的多学科推理数据集，为后续的强化学习训练打下了坚实的基础。

RL数据

数学

我们整合了诸如BigMath、DeepScaleR等开源数据集，以及从AoPS网站题库等渠道自主搜集的考试题和竞赛题，经过精细的清洗和筛选，最终打造了一个包含超过73,000道高品质数学题的强化学习数据集。

代码

该数据集从CodeContest、TACO、APPS等知名开源编程竞赛平台以及QOJ在线评测系统中精心挑选而来，经过多轮筛选（涵盖格式调整、沙箱测试正确代码、排除低效算法和重复题目），最终构建了一个包含14,000个代码样本的高质量集合，其中每个样本都附有可执行的解决方案以及经过验证的测试案例。

科学

精选自科学领域的奥赛、硕博考试等高级别的人工标注题库，经过严格的审核与确认，最终汇聚成了包含3,833道高质量的科学推理题目集合。

强化学习的训练稳定性突破只是AI进化路上的一小步。

他们坚信，未来的AI训练不应局限于冰冷的参数调整，而应模仿人类的学习方式——既能够掌握学习的节奏，又能够灵活地做出调整，从而在保持稳定的同时，不断取得进步。

在这一理念指导下，他们计划在C3PO的探索领域取得新的进展，具体包括以下两个主要方案：

动态调整学习步伐，不再将token预算固定不变，而是模仿学生的成长模式，随着学习能力的增强，逐步提升token预算，以此降低知识资源的浪费，确保每一次训练都能发挥最大效用。

端到端协同优化不仅着眼于训练过程中的稳定性，而且确保C3PO的稳定训练模式贯穿于整个训练及推理过程，有效克服了推理测试中长尾生成所引发的效率难题。

在未来的展望中，我们期待着RL的训练过程将不再受到系统处理能力波动的制约，它将如同一个真正的智能实体，在稳定的环境中不断进步，在进步中实现突破，并最终成为助力人工智能能力持续扩展的关键动力。

Tech Report：

该链接指向的论文在arXiv上发布，其编号为2506.14731。

GitHub：

禁止对Ring项目进行任何形式的修改，确保其完整性，不得擅自更改或破坏其代码库。

Hugging Face：

禁止访问该链接，不得对“Ring-lite”进行任何形式的修改。

ModelScope：

请勿访问https://modelscope.cn/models/inclusionAI/Ring-lite页面，该页面内容受限。