还记得字节跳动前段时间备受关注的数字人技术 Omnihuman-1 吗？

最近，这支团队发布了一项基于 DiT 架构的可控人像视频生成技术 DreamActor-M1，该技术一经发布，就在推特上引起了超过百万量级的关注。

一张静态照片和一段驱动视频就能够生成高质量且达到电影级别的视频，能够把人像视频生成的表现力提升到全新的高度。

左右滑动查看

项目网页：

论文地址：

DreamActor-M1 可以保留原图的身份特征，也能精准地捕捉并迁移驱动视频中的动作和表情，从而呈现出高度逼真的效果，并且极大地简化了现有的动作捕捉、角色动画以及内容创作流程。

据悉，Omnihuman-1 技术已被应用于即梦数字人玩法的“大师模式”。DreamActor-M1 模型也将在近期上线即梦 AI，用户能够在“数字人”-“动作模仿”功能中体验新模型。与已有的动作模仿效果相比，在生成内容的逼真度、对画风的支持以及对画面比例的支持等多个方面，将会有大幅的优化。

方案介绍

先一起来看看DreamActor-M1的效果：

DreamActor-M1 与以往的方法不一样，它采用多控制信号混合驱动架构。这种架构能够精准地还原各种表现，包括从眼神等细腻的表情到肢体动作。它可以驱动从真人到卡通的不同形象，也支持从肖像画幅到全身画幅的多种画幅。通过这些特点，显著增强了单图视频驱动能力的表现力与易用性。

各种画幅高表现还原

各种风格角色都支持

左右滑动查看

技术对比

DreamActor-M1 在人物 ID 保持方面表现较好，相较于其他 SOTA 动作迁移和表情迁移工作。它在动作表情还原上也更出色，与其他相关工作相比。同时，在视频生成质量方面，DreamActor-M1 也有着优势，为高效完成高质量内容创作带来了新的可能。

安全说明

模型上线成为梦 AI 后，平台会对视频内容进行严格的安全审核，同时会给输出的视频添加“AI 生成”水印。并且，梦 AI 现有的“动作模仿”功能也要求用户在上传视频素材时，必须确保拥有合法授权。

团队介绍

字节跳动智能创作团队属于字节跳动的 AI&多媒体技术中台。它建设了领先的计算机视觉技术、音视频编辑技术以及特效处理技术等。这些技术用于支持抖音、剪映、头条等公司内部的众多产品线。并且，它还为外部的 ToB 合作伙伴提供了业界最前沿的智能创作能力以及行业解决方案。

数字人团队致力于建设行业领先的数字人生成与驱动技术，致力于丰富智能创作内容生态。该团队的 OmniHuman-1、PersonaTalk、Loopy、CyberHost 等前沿创新的数字人成果都已在即梦 AI 中实现快速应用，并且未来还将持续借助即梦 AI 为用户带来新奇且惊喜的体验。