项目网址位于此，具体为 https://nvlabs.github.io/Sana/Video，供参考查阅。

研究背景

文本图像转换以及视频制作这一行业里，扩散式转换器获得了非常突出的成就。

扩散模型虽能对多个token同时运算，不过当生成高分辨率图像和视频时，token数量庞大，因此推理过程会变得迟缓。

该现象在文字转影像范畴尤为突出，生成五秒包含八十一格画面的动态影像，其所需时间比绘制静态画面延长了五十倍。

优化运算效能，针对包含海量符号的视频处理工作，线性关注机制能大幅降低运算成本。

当前，部分结合线性注意力机制与软最大注意力机制的技术获得了理想成果，不过，完全训练的通用线性注意力模型的性能，依然有待验证。

SANA-Video在Linear DiT模型基础上进行进一步训练，沿用了该模型的全局线性注意力机制，达成了从头构建的图像与视频模型的高效训练和推理全过程，在压缩率提升八倍的Wan-VAE以及本次提出的压缩率达三十二倍的DC-AE-V两种VAE上都测试了其适用性。

整体表现非常出色，在Vbench测试中，其水平与Wan-2.1这类开源的扩散视频模型不相上下。

核心创新

SANA-Video的关键是其新颖的全局线性注意力Diffusion Transformer训练体系，以及它独有的全局内存稳定的KV缓存方式。

主要贡献包括：

线性注意力DiT：为了解决视频生成中大量符号处理时出现的计算难题，该模型采用线性注意力作为主要功能。与常规的自注意力方式相比，线性注意力在处理长序列数据时表现更佳，这为模型在制作高清长视频时能同时维持快速处理和高效率提供了支持。

一种新的KV缓存机制，即恒定显存的KV缓存机制，被研发出来，目的是为了节省成本并高效地制作分钟级别的视频内容。研究者们设计了一种分块自回归的方案，该方案借助线性注意力的累积效应，构建了一个显存占用不会变化的存储状态，也就是KV缓存。这个缓存能够向模型传递全局性的背景信息，并且不会因为视频时长加长而需要更多的显存资源。该方案完全克服了常规键值存储的内存容量限制。同时借助步骤迁移技术，LongSANA能够即时制作分钟单位的长时视频，采用递归生成模式。

深度压缩自编码器模型DC-AE-V，常规自编码器仅能将视频数据压缩八倍，而新型自编码技术能将视频数据压缩高达三十二倍，显著降低了潜在token的规模，从而大幅提升了高分辨率视频生成的效率。

SANA-Video的运行表现和配置速度非常突出，它达成了同行业领先的小扩散模型（比如Wan 2.1-1.3B）一样的视频成像水准，并且还拥有显著的效能提升。

训练成本低:训练开销仅为MovieGen的1%。

推理速度快:实测延迟比同类模型快16倍。

商业应用：能够在RTX5090显卡上顺利安装，借助NVFP4高精度技术，把一段5秒钟的720p视频制作过程，从需要71秒的时间，降低到只需29秒，这确实做到了既经济实惠，又保证画面品质。

设计细节

模型架构的细节，如下表所示。

先进的线性扩散转换器模型表现卓越

原始DiT的注意力计算需要平方级别的资源，面对高分辨率图像时开销急剧增加，线性DiT通过采用线性注意力方式，有效替代了常规的平方注意力方法，从而将计算负担从平方级降至线性级

该模型继承了众多模型参数，始终贯彻全范围的线性DiT构造，逐步发展成一套彻底从零开始训练的图文生成视频系统。

这时候，研究团队又设计了Spatial-Temporal Mix-FFN，它能在多层感知器（MLP）里轮流采用1×3×3的空间滤波器和3×1×1的时序滤波器，这让token的邻近特征更加突出。

实验表明，线性注意力机制的效果等同于传统注意力方法，对于5秒视频的生成，其处理时间显著降低了2到4倍。

一种基于固定容量存储的键值数据缓存方案，其内存使用不会随数据规模增长而变化

在DiT线性框架上，借助模块间顺序递归的训练方法，构建了模块线性扩散架构，该架构具备全局的注意力机制，同时内存消耗保持稳定。

具体来说，块间自回归训练方法首先将一段视频分割为N个片段，然后针对帧在片段中的先后位置施加逐步增强的噪声，以此进行扩散模型的训练，并采用因果注意力机制进行构建，后续片段能够借助线性注意力整合先前片段的特征，但先前片段的特征计算过程中不允许融入后续片段的信息。

线性注意力在运算上能够沿符号序列分解，这种处理方式在数学上等同于另一种方法，它借助键值对的点积运算并逐项求和，从而得出全部符号的关联矩阵最终值。

所以，一旦块因果线性扩散模型训练成功，便能够借助线性键值缓存体系执行长视频的推演工作。

缓存块1的KV1计算结果，接着，在块2的KV2矩阵计算完毕之后，将它和KV1矩阵合并，就能得到KV1-2，依此类推，等到最后一个块n的KVn计算结束，便仅需

获取全部的键值对矩阵，然后，每个区块的计算任务，仅涉及将矩阵KVsum和该区块生成的键值对进行求和运算，以此完成。

·深度压缩自编码器（DC-AE-V）

依据SANA模型的常规做法，科研人员开发的新型视频自动编码器，显著将比例系数增大到空间维度上变为原来的32倍，时间维度上变为原来的4倍。

F32T4C32的潜在token数量比F8T4C16+DiT编码层压缩2倍的情况少了4倍，这个差异对于实现高效训练以及生成高分辨率视频（例如720p分辨率）具有非常重要的意义。

· 高效训练和推理策略

为降低训练成本，研究人员从数据和训练策略两方面进行了优化。

起初，针对数据层面，他们构思了精准的筛选规范，同时借助功能卓越的视觉语言工具，为影像内容制作出信息量充足且细节周密的文字说明，其中涵盖了核心对象、具体行为、周边场景、摄录视角等多个维度的要素。

其次，在训练环节，模型依托一个性能卓越的图到文转换模型，执行连续性的预训练工作，同时运用从低清晰度逐步提升至高清晰度的分步方法。

最终借助人类倾向性信息实施监督性优化调整，以便快速掌握影像的动态表现与视觉美感特质。

整体性能

参照相关表格内容，将SANA-Video同现阶段最顶尖的文本到视频扩散技术进行了对照分析。

在720P清晰度的图像生成视频领域，SANA-Video即便模型参数仅有2000万，依然获得了最优的语义匹配值，达到了81.35分，它的处理时间只要一个小时，比同类系统更快，效率是它们的八倍。

在六百四十像素的图像转视频工作中，SANA-Video依旧效率最高，并且其视频产出品质分率达到了九十六点四，领先了所有同类方案。

在720p画质下性能评比时，SANA-Video-2B的总体评价得分最高，达到了84.05分。它的推理过程耗时仅36秒，同SkyReelV2的568秒和Wan2.1的403秒相比，速度明显更快，达到了惊人的16倍效率提升。

SANA-Video与其它模型的可视化效果进行对比，可以看出，SANA-Video模型在生成效率上更为出色，而且其输出品质也非常优秀。

LongSANA：长视频实时生成

SANA-Video的固定容量的键值缓存系统，能够配合全图注意力模式开展训练及推断工作。

所以，科研人员优化了Self-Forcing的5秒视频递归学习方法，采用全图式关注机制执行一分钟连续训练，借此获得更优化的长视频成果，这种改进版本称作LongSANA。此外，借助信息传递降噪环节，可在H100设备上仅用35秒时间制作出一分钟长度的影像。最终成品展示如下：

终端设备部署

研究人员借助SVDQuant算法，对NVFP4模型实施了量化处理，以强化边缘端部署效果。该方案在处理480p与720p视频时，均能达到2.4倍的运行加速。同时，该模型具备在RTX 5090显卡上完成推理运算的能力。

SANA-Video接下来将重点关注即时互动式创造等尖端技术方向。

研究者深信公开的价值，所以选择把全部的练习程序和模型参数提供给公共领域，希望和世界各地的创造者及学者一起发掘影像制作的广阔前景。

参考资料：

那个特定的网址指向一份编号为250924695的预印本论文文件。