喜欢玩游戏、看3D动画片的朋友一定对“动作捕捉”这个词不陌生。

无论是游戏角色还是卡通人物，他们能够做出各种生动的表情，其实都离不开动作捕捉技术的加持。

然而动作捕捉技术已经使用了这么多年，也并非没有缺点。例如，动作捕捉所需的工作流程和设备非常复杂。从一部200分钟左右的动画来看，从演员表演到最终完成往往需要一个多月的时间。 。而且，动作捕捉设备也非常昂贵，花费数十万美元。

除了动作捕捉之外，要实现动画中的表情控制，传统动画师可能只需手动去除肝脏即可。不用说，这种方法比较费时费力。

那么，除了上述两种方法之外，还有什么方法可以更高效、低成本地捕捉和控制表情和动作呢？

在当今智能时代，要回答这个问题，就不能回避一个词：人工智能。

恰巧字节跳动智造团队最近提出了X-Portrait2单图视频驱动技术，让我们看到了新的可能性。

X-Portrait2单图像视频驱动技术只需要一张静态照片和一个驱动视频即可生成高质量的电影级视频。

该模型不仅保留了原始图像的ID，还准确捕捉并真实地传递了从微妙到夸张的表情和情绪，呈现出高度真实的效果。这是创建富有表现力、逼真的角色动画和视频剪辑的极其经济有效的方法。

听起来不错，但是它的实际表现如何呢？ IT之家最近有机会进行内部测试。我们来看看X-Portrait2生成的视频表现。

X-Portrait2实测：看到这逼真的效果让我兴奋不已……

在实际使用中，我们只需要向模型提供一段具有明显人类表情的视频和另一张该人的静态照片，X-Portrait2就可以使照片中的人做出与视频中的人相同的表情和动作。

比如IT之家首先想到了经典影视中无影哥的名场面，然后请《黑神话：悟空》中的命运人再现了无影哥的表情（视频测试素材仅用于技术演示）：

利用X-Portrait2技术，天命人模仿无影哥的面部表情总体上非常自然，与原始视频相似。并且可以看到测试画面中的天明和视频中的无影歌在头部角度上存在差异，但这并不影响X-Portrait2对表情的再现。

接下来，IT之家想到了让《生化危机4：重制版》游戏中的莱昂和阿什利表演电视剧《回家的诱惑》中的著名场景。 X-Portrait2也生成了相应的视频。小编将设计的结果贴为gif格式，供大家参考：

视频测试材料仅供技术演示

视频测试材料仅供技术演示

由于3D人物模型上模拟了真人的表情，难免会显得奇怪。不过可以看出，X-Portrait2已经尽力让生成的视频人物表情和整体画面看起来自然。 。如果你仔细观察，你会发现生成的视频在原始静态图片的基础上控制表情时增加了很多面部阴影细节的变化。这一切都是为了让最终生成的效果更加协调、真实。

接下来我们测试一个例子，让《荒野大镖客2：救赎》中的亚瑟·摩根做出与《三国演义》电视剧中诸葛亮骂王朗一样的表情：

视频测试材料仅供技术演示

可以看到，这次生成的结果更加符合实际。亚瑟做出表情时，面部皮肤纹理和阴影细节的变化非常真实。如果你不仔细看或者不了解游戏剧情，你可能会认为这就是游戏中的角色。原创CG动画。

之前的测试都是用游戏中的角色进行的。接下来，IT之家使用AI生成的人物照片进行测试。这相当于用真人照片来模仿原视频中真人的表情。理论上，结果应该更“难以区分真人与真人”。伪造的”。

小编先用AI生成了一张成年男性的照片，并让它模仿电视剧《大宅门》中于和伟吐口水的著名笑点：

视频测试材料仅供技术演示

换成AI生成的真人照片后，效果确实更加真实。除了角色笑起来时面部皱纹的阴影之外，其他一切看起来都很自然。如果不仔细看，真的很难发现这是AI生成的。表情再现视频。

随后小编让AI生成了一张女人的照片，让它模仿电视剧《甄嬛传》结局中甄嬛与皇后最后对峙的一个简短场景：

视频测试材料仅供技术演示

可以看到，X-Portrait2技术可以让照片中的女孩对甄嬛说话时的表情模仿得惟妙惟肖。看得出来，电视剧中的甄嬛说这句话的时候表情是比较内敛的，面部微表情的变化也非常细腻。对于繁殖来说，实际上是相当具有挑战性的。但实际的结果显然是令人满意的，很好地展现了甄嬛此时此刻的威严。

除了这些之外，小编在体验过程中还测试了一些其他案例，比如在《黑神话：悟空》中问二郎神说“坐在这里的都是垃圾”。这个表达方式还是很神奇的：

视频测试材料仅供技术演示

还有一个AI生成的男孩模仿金导的笑声，也非常逼真。以后如果你想模仿这种常人做不到的大笑表情，那就自拍吧……

视频测试材料仅供技术演示

总体来说，字节跳动的X-Portrait2单图视频驱动技术确实让小编震惊了。从目前的测试结果来看，已经很强了，各种微妙的表情都可以重现和再现。同时，通过添加新的阴影和细节变化，使视频画面整体达到和谐自然的效果。很难想象随着这项技术的进一步成熟和发展，将会取得怎样的效果。也许它会真正改变未来的动作捕捉甚至动画。 、特效行业。

优异成绩背后，这些领先创新值得关注

看到X-Portrait2技术震撼的表情和动作控制能力，相信大家也会好奇字节跳动是如何做到的。这背后有哪些技术创新？

X-Portrait 2是字节跳动基于上一代创新的X-Portrait条件扩散模型研究成果的进化，将肖像驱动的表现力提升到了一个全新的水平。

与之前依赖面部关键点检测的单图像驱动方法不同，X-Portrait 2构建了最先进的表情编码器模型，可以通过创新的端到端从大量人像视频中提取面部表情。 - 终端自我监督培训框架。自学习与 ID 无关的运动隐式表示。进一步将该编码器与强大的生成扩散模型相结合，可产生流畅且富有表现力的视频。

经过大规模高质量表情视频的训练，X-Portrait 2 在运动性能和 ID 保留方面显着优于之前的技术。该算法可以从驾驶视频中提取不同粒度的表情特征（如扬眉、咬唇、伸舌头、皱眉等），并有效迁移到扩散模型中，实现精准的表情和动作控制，从而实现情绪控制驾驶视频中的人物。高保真迁移。

在训练表情编码器时，为了让编码器专注于驾驶视频中表情相关的信息，X-Portrait 2更好地实现了外观和运动的解耦。

具体来说，通过为模型设计一个过滤层，编码器可以有效过滤运动表示中与ID相关的信号，这样即使ID图片和驾驶视频中的图像和风格有很大不同，模型仍然可以实现跨ID、跨风格识别。动作传输，涵盖写实肖像和卡通图像。这使得X-Portrait 2高度适应多种应用场景，包括现实世界的叙事创作、角色动画、头像和视觉效果。

正因为如此，在之前的IT之家测试中，即使驾驶视频是真人影视剧片段，ID图像是3D游戏建模人物，眼神、表情、动作依然能够得到很好的控制。 。

例如，在下面的例子中，行车视频是真人视频，证件图像包括真人照片、漫画，甚至油画。 X-Portrait 2 还输出了足够真实的结果。

视频测试材料仅供技术演示

看到 X-Portrait 2 的表现，有的朋友可能会想到不久前由 Google 等公司支持的人工智能初创公司 Runway 推出的“Act-One”功能，并集成到 Runway 的视频生成模型 Gen-3 Alpha 中。该功能也类似于X-Portrait 2，让用户可以轻松地使用手机或相机录制自己或他人的视频，然后使用Act-One功能将录制对象的面部表情传输到AI生成的图像中。特点。

与 Runyway Act-One 等最先进的方法相比，X-Portrait 2 更加出色，可以忠实地表现快速的头部运动、微妙的表情变化和强烈的个人情感，这些对于高质量的内容创作至关重要（例如动画和电影制作）至关重要。

例如，在下面这组效果对比中，《X-Portrait 2》对人物面部表情的刻画明显比《X-Portrait》更加丰富、生动，而《Runyway Act-One》生成的人物面部则缺乏很多细节，而表情看起来比较僵硬，显然没有前两者有影响。

视频测试材料仅供技术演示

再比如下面这个例子，驾驶员视频中的人物动作较大，表情夸张。 X-Portrait 2很好地还原了原始视频的特征。 X-Portrait 丢失了一些面部细节，并且头部运动不一致。过程有点混乱，不过总体还是不错的。在 Runyway Act-One 方面，由于驾驶视频的头部运动较大，因此无法直接生成。

视频测试材料仅供技术演示

可以看出，字节跳动相对于目前行业内其他类似的AIGC模式和解决方案具有明显的优势。

结论

在体验和了解字节跳动的X-Portrait2单图视频驱动技术后，IT之家不得不感叹AIGC技术的快速进步以及字节跳动在AI模型创新方面强大的技术实力。

同时提醒大家，上面小编体验到的只是X-Portrait2的内测版本。未来随着其模型技术的成熟和完善，其应用前景无疑是无限的。

例如，创作者可以使用它来大大加快他们的创作速度。以往需要大量人力物力的动作捕捉设备可能已经不需要了。拍摄视频+1张照片可以解决采集表情和动作的问题。这种效率的提升简直是难以想象的。

再比如，这项技术未来还可以应用到数字人、XR等领域，让我们的数字化身或者各种AI代理变得更像真人，甚至能够通过面部表情的变化来传达情感，以及更自然地与我们沟通，进一步打破虚拟与现实的界限……

可以说，生成式人工智能的每一次进步都是我们生产效率的巨大提升，也是我们当下工作、生活和娱乐的一场革命。

而字节跳动正在通过不断创新的技术和解决方案，一步步将这一理想变为现实。

生成式人工智能的未来确实充满了无限的可能性。