第一位作者是王希华，他是中国人民大学高瓴人工智能学院2021级博士生，导师是宋睿华，他兴趣主要所研究的方向是多模态生成。通讯作者是宋睿华，其身份是长聘副教授，她的AIMind团队主要所研究的方向是多模态感知、交互与生成。

背景：从「噪声到声音」到「视频到声音」

在多模态生成领域，视频生成音频也就是 V2A 的任务提要求了，这要求相关模型去理解视频语义，并且要在时间维度上，精准地对齐声音与动态。早期的 V2A 有方法，采用自回归方式，把视频特征当作前缀，逐个去生成音频 token，或者是以掩码预测方式，并行地预测音频 token，然后逐步生成完整音频。

这两种方法都依赖于音频的离散化表示，离散化处理又往往会因为信息损失而限制音质上限。

最近主流方法，大多采用扩散模型，或流匹配架构，通过「从噪声生成音频」的方式，来实现视频驱动的声音合成，这种方式不依赖离散token表征，直接在连续的隐空间进行建模，通过采样随机噪声，并将视频信息作为条件，模型从噪声中逐步去噪，最终生成音频，但是这样的范式，仍然存在两个天然瓶颈：

同一视频条件下存在多对一映射，于训练阶段时，模型要被训练从各异的采样噪声里预测同一个音频，多对一的这种映射关系致使训练难度增加，在推理阶段，因不同噪声样本经 ODE 求解得出的推理结果差异颇为大，所生成的音频质量难以维持一致，乃至出现「抽奖」现象，不同视频条件下有一对多映射，于训练和推理阶段，模型需被要求从相同的采样噪声出发，仅依据不同视频条件去生成不同的音频，这对模型有着极强的条件处理能力要求。

主流扩散模型或流匹配架构的挑战

因此，模型要从随机噪声里逐步“听懂”视频，这一过程依靠复杂的条件机制，致使路径复杂，训练低效，并且生成结果不稳定。

在这样的一种背景状况之下，中国人民大学带领AIMind团队的宋睿华，与值得买科技AI团队，提出了一个全新的框架，这个框架就是VAFlow。研究者进行了提出，既然从噪声到声音是依赖复杂的视频条件机制的，并且存在上述所提到的局限，那么为什么不是直接从视频出发进而生成声音呢 ？

基于这样的一种思路，团队进行了设计，设计出了一个跨模态流匹配框架，这个框架是直接建模「视频→音频」映射的，名为VAFlow。它摆脱了对于高斯噪声先验的依赖，首次达成了从视频分布直接生成音频的范式转变，并且在生成质量、语义对齐以及同步精度方面取得了显著的突破。该研究已经正式发表在了ICCV 2025 。

不同生成范式对比

VAFlow：让视频直接「流」向声音

流匹配，是多媒体领域主流的生成算法，它会学习一条从起点分布到目标分布的最优传输线路，模型会沿着这条线路，一步步把原始分布映射到目标分布。在主流的流匹配方法里，模型常常把随机采样的高斯噪声当作起点，将视频作为条件输入，然后逐步把噪声映射到音频分布，这种范式给模型的条件建模能力带来了很大的挑战。首先，VAFlow的核心思想具备简单直观的特性，其次，它并非从噪声开始出发，再者，它是直接以视频作为起始点，最后，它首次达成了视频分布到音频分布的直接映射 。

这表明，模型并非再从噪声当中，去解读视频条件下的那种“猜测”声音的情况，而是沿着视频的信息流，顺然生发出声音，使得视觉跟听觉切实融合为一体 。

VAFlow 框架图

VAFlow 的框架由两个关键模块组成：

除此之外，VAFlow保留了DiT结构里的交叉注意力层，使得模型可以在流匹配采样进程中持续融合原始视频特征，并且支持推理进程中的无分类器引导。

先验分析：为什么「视频先验」（V-Prior）更优？

团队为了验证「以视频为先验」的合理性，展开了实验，该实验从统计特性、可视化结构和生成质量三方面进行，实验内容是对比分析高斯先验 (Gaussian Prior) 与视频先验 (V-Prior)的表现。

统计对齐性分析

研究者对先验与音频潜向量之间的均方误差，也就是MSE，以及中心核对齐度，也就是CKA，进行了计算，并且在有条件，也就是Cond.，与无条件，也就是Uncond.，两种设置的情况下训练模型，结果如下表：

能够看得出，V - Prior跟音频潜空间的对齐程度明显更为高些，MSE更低，CKA更高，与此同时，生成的音质，也就是FD，也更加优越。

此表明，视频先验自身具备着更靠近音频的结构信息，能够自然而然地当作更为合理的生成起始点。

团队进一步借助 t-SNE，把两种先验予以利用，对目标音频潜空间展开可视化 。

不同先验空间及生成过程可视化对比

结果显示：

这表明，视频先验于空间结构方面，在贴合目标模态上更具优势，能够切实有效地减少跨模态传输里的“弯路”，达成更为稳定且更为高效的生成。

性能对比：更快、更稳、更强、可规模化提升

Diffusion vs Flow vs VAFlow

在相同配置的条件下，此条件为视觉特征、网络结构、初始化与超参数完全保持一致，作者针对三种不同的生成范式展开了对比，其目的在于探究它们之间的性能差异。这三种不同的生成范式分别是，扩散模型，也就是标准 DDPM，主流流匹配模型，该模型以高斯噪声为先验，以及 VAFlow，此模型是以视频特征作为原始分布 。

结果显示，有一种情况是，两种流匹配模型，在收敛速度方面，以及在FD指标方面，均展现出比扩散模型更优的态势，这就验证了流匹配在训练效率上所具备的天然优势；还有一种情况是，VAFlow这个模型，虽然在早期的时候收敛速度稍微慢一些，不过最终呢，是经过了联合训练阶段之后，取得了最低的FD。它之所以能够有这种提升，是因为它直接对更具结构性的视频 - 音频传输路径进行了建模，从而避免了在高斯噪声先验之下出现的模糊映射。

Scaling Analysis

文中着笔之人察觉到，VAFlow 于模型规模变大之际依旧维持着持续的性能提升态势，这表明 VAFlow 不但于小型模型领域里具备高效特质，在参数量递增之时同样能够保持稳定且具备可拓展性，这为往后构建更为强大的多模态生成模型铺就了基础 。

Benchmark 结果：超越现有 SOTA

研究团队，在V2A领域常用的数据集VGGSound上，对VAFlow进行了对比测试，同时也对其他基线模型进行了对比测试。

音频生成质量相关指标方面，实验结果表明，VAFlow全面超过了现有的SOTA，取得了最佳分数，在该方面VAFlow实现了对现有SOTA的全面超越，获得了最佳分数。虽然没有设计复杂的视频条件模块 ，但在音视频的时序同步方面，VAFlow达到了与SOTA相当的效果，在语义相关性层面，同样达到了与SOTA相当的效果，虽然没设计复杂视频条件模块，在音视频的时序同步和语义相关性方面，也达到了与SOTA相当的效果 。

需要指出的是，和经过文本 - 音频数据增强的 V2A 模型相比，也就是表格里灰色行所对应的那个模型，VAFlow 在没有任何文本标注数据的条件下，在语义相关性方面的表现，依旧能够更加出色或者至少相当 。

真实效果

作者将一个沙滩场景视频例子予以展示，此视频涵盖背景里的海浪声，以及来自不同角色的声音，像人群的嘈杂声、女人说话的声音等。可视化结果把真值跟不同方法生成的音频的梅尔谱图进行了对比。从那图当中能够观察到，VAFlow不单单能够精准地理解复杂场景，进而生成所有必需的声音，并且还能够跟视觉时序达成同步。模型的别的生成结果能够在主页进行试听。

总结与展望

VAFlow给V2A开拓了一条自视频径直映射至音频的全新流匹配生成范式，还为搭建通用跨模态生成基础模型给出了新思路，未来，团队会持续探索VAFlow在语音、音乐等更广音频领域的应用。