清华大学的朱军教授及其研究团队，与NVIDIA Deep Imagination研究组，还有斯坦福大学的Stefano Ermon团队，共同研发出一种创新的扩散模型强化学习方法，命名为Diffusion Negative-aware FineTuning，即DiffusionNFT。这项技术首次打破了当前强化学习对扩散模型的基本设想，直接在前向加扰步骤中实施改进，在完全脱离似然推断和特定采样方法依赖的基础上，大幅提高了训练效能与产出水平，文章联合第一作者郑凯文和陈华玉是清华大学计算机系的学生。

背景 | 扩散模型的 RL 困境

近些年，强化学习在大型语言模型后续训练中取得的显著成效，激发了人们尝试将这类技术移植到扩散模型领域的兴趣。比如FlowGRO等研究，它们把扩散采样环节转化为多个步骤的决策任务，并在逆向环节运用策略梯度优化技术。不过，这种做法存在着诸多基础性缺陷

自回归模型的似然函数能够直接求出精确值，但扩散模型的似然函数难以精确求解，只能通过耗费大量资源进行近似计算，因此基于此的强化学习优化过程会出现固有偏差。

前向与反向过程存在偏差，当前技术只在逆向去噪环节进行优化，并未对扩散模型固有的正向加噪步骤实施一致性规范，导致模型在训练完成后可能转变为不符合正向特征的串联高斯形式。

采样器存在局限，必须借助特定的一阶随机微分方程方法，因而无法有效利用常微分方程或高阶计算工具在性能与精确度方面的长处。

CFG 的运用伴随着高难度，当前强化学习策略在融合无分类器指导方法时，必须在训练环节对两个模型进行细致调整，这个过程非常耗时。

所以，怎样研发一种既可维持扩散模型固有训练体系，又可快速接纳强化学习信息的综合方案，是当前迫切需要研究的课题。

方法 | 基于前向过程的负例感知微调

扩散NFT开创了一种创新路径，将强化学习直接施加于扩散的前向加噪环节，而不是反向去噪环节，这一构想引发了根本性的变革。

核心机制包括：

通过对比积极与消极情况来明确提升路径：在创建样本时，借助反馈信息将成果区分为有益与无益两类，由此形成一个隐性的“进步途径”。这与仅采用正面素材进行排除式微调（RFT）的做法不同，DiffusionNFT明确运用负面素材的启示，促使模型有效“远离”欠佳状态。

负例感知微调，即NFT，运用一种精妙的隐性参数化手段，能够同时为目标模型设定正面规范和负面规范，把正负分布的对比转变为单一网络的训练目的，无需增设额外的判别装置或引导系统。

强化引导：从数学角度看，DiffusionNFT 将优化目标表现为对原策略分布的偏差 ∆，此方法类似 CFG，但无需双模型架构，而是蕴含在训练宗旨里

这样的设计使 DiffusionNFT 同时满足以下优势：

训练目标严格遵循扩散的 Fokker–Planck 方程，确保不违背前向过程的连贯性，从而保证训练完成的模型依然具备扩散模型的良好性质。

采样器不受限制：训练过程和采样步骤完全分离，能够配合任何类型的黑盒微分方程或随机微分方程求解器，不再局限于仅能处理一阶随机微分方程；此外，在训练阶段，只需要保留最终生成的样本及其相应的奖励数据，不必存储完整的采样路径。

无需借助变分下界或逆向路径概率评估，训练过程仅需依据生成图像及奖励值进行。

原生优化采用 CFG-free 方法，能够直接掌握奖励引导的生成技巧，无需承担 CFG 的推演负担，并且还能和 CFG 协同作用，以便获得更优的执行效果。

实验 | 高效性与生成质量

科研小组通过众多奖励机制，确认了 DiffusionNFT 的实际作用力。关键发现如下：

性能改善显著：GenEval 任务中，DiffusionNFT 只需一千步就能将评分从零点二四提高到零点九八，FlowGRPO 则要超过五千步才能获得零点九五。普遍而言，DiffusionNFT 在各项任务里展现出三倍到二十五倍的训练效能领先。

脱离 CFG 支撑后效果大幅增强：即便完全不借助 CFG，DiffusionNFT 在艺术性、一致性等方面依然远胜基础版本。

联合优化多种奖励机制：在 SD3.5-Medium 平台上同步改进 GenEval、OCR、PickScore、ClipScore、HPSv2.1 等不同奖励体系，改进后的模型在各项评估指标上都超越了初始版本，其表现与单独针对单一奖励优化的 FlowGRPO 相当，并且优于规模更大的 SD3.5-L 和 FLUX.1-Dev 模型。

展望 | 向统一的生成对齐范式迈进

扩散NFT的问世，为扩散模型的强化学习开辟了高效、精简且具备理论支撑的新路径，对更广阔的生成模型对齐探索也提供了借鉴思路。从文本模型到图像生成，扩散NFT彰显了负例反馈加正向统一应用的广泛价值。它突破了似然推断和逆向过程的束缚，搭建了监督学习与强化学习之间的联系。DiffusionNFT将来可能拓展到包含多种形式的内容创作、影像制作等领域，并且会应用于大型模型的适配工作，最终发展为一种综合性的创作提升方法。