1. 首页>>分享

张昊:伊利诺伊大学博士生,参与Stable Part Diffusion 4D项目

视频框架结构分析__扩展视角

张昊是伊利诺伊大学香槟分校的博士生,他的研究领域包括三维和四维重建,生成建模,以及物理驱动的动画制作。他目前作为研究实习生在 Snap Inc. 工作,之前曾在 Stability AI 和 上海人工智能实验室进行过实习。这个项目名为 Stable Part Diffusion 4D,由 Stability AI 和 UIUC 共同研发,可以依据单目视频制作出时空统一的多视角 RGB 图像与运动学部件序列,还能将其升级为可连接的三维资源,相关主页链接为:https://haoz19.github.io/

扩展视角_视频框架结构分析_

研究背景与动机

角色动画以及三维内容创作里,骨骼组装和零件拆分是让物件能够活动起来的关键环节。不过当前办法有着显著不足之处:

因此,我们确立了主要目标:借助海量 2D 信息和已训练扩散模型的丰富基础认知,以攻克运动学部件拆解的挑战,并持续拓展至自主绑定领域。这种策略能够打破 3D 资料不足的限制,使人工智能切实掌握符合力学原理的 3D 动画模型的创建方法。

_扩展视角_视频框架结构分析

研究方法与创新

出于这个目的,我们研发了 Stable Part Diffusion 4D (SP4D) —— 第一个专注于运动部件解析的立体视频扩散体系,其核心突破在于,

这个体系可以产生时间空间统一的部件划分,同时能够把成效转化为 可连接的 三维网格,计算骨骼构造与表皮参数,立即用于动态影像设计。

实验结果

在 KinematicParts20K 验证集这个数据集里,SP4D 和其他已有技术对比,效果明显更好:

视频框架结构分析_扩展视角_

在自动绑定工作中,SP4D 也表现出更突出的能力:

这些成果有力表明 2D 基于先验的构想 不仅可以攻克 运动学部分分割的长期挑战,还能显著拓展至 自动绑定技术,促进 动画与 3D 内容制作的完全自动化进程。

_扩展视角_视频框架结构分析

结语

SP4D 是一项技术革新,同时体现了多领域联合攻关的精神,并且获得了 Neurips 2025 的重点推荐。它阐明了大尺度平面经验模型如何革新三维运动学构造与自主绑定技术,为动漫、电玩、增强现实及虚拟现实、机器人仿制等范畴的自动化进程与智能发展提供了根基。

本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/278581.html

联系我们

在线咨询:点击这里给我发消息

微信号:13588888888

工作日:9:30-18:30,节假日休息