PhysAvatar:从视觉观察中学习装束的 3D 化身的物理学
我们提出了 IntrinsicAvatar,一种从仅单目视频中恢复着装人类角色的内在属性,包括几何、反射率、材质和环境光照的新方法。
Dec, 2023
我们提出了 CaPhy,一种用于重建具有逼真动态属性的可动画人体角色的新方法,重点是捕捉衣物的几何和物理属性以及在真实观察中应用新颖的动作,以物理正确的变形和皱纹覆盖人体角色,通过与物理损失的非监督训练以及使用扫描数据的三维监督训练结合的方式重建具有物理逼真性和符合人体扫描的衣物的动态模型,同时通过引入物理损失的梯度约束来优化扫描数据下潜在物理模型的物理参数,与之前的 3D 角色重建工作相比,我们的方法能够泛化到具有逼真的动态布料变形的新动作,对多个主题进行的实验表明我们的方法能够估计服装的物理属性,从而得到优于之前方法的定量和定性结果。
Aug, 2023
使用可区分的仿真,我们提出了 DiffAvatar,一种新颖的方法,通过身体和服装的协同优化来提高数字化身的真实感,从而实现自我表达和定制;实验表明,我们的方法可以生成逼真的服装和身体形状,可轻松用于下游应用。
Nov, 2023
通过多视角捕捉视频对具有显式服装表示的可动衣物人形头像进行建模,采用二层网格表示注册每个 3D 扫描,通过时序卷积网络来预测衣物潜在编码以实现人体动力学和服装状态的交互作用。
Jun, 2021
使用一个人的动态视频,通过引入新颖的组合式人体建模框架,结合显式建模和隐式建模的方法,实现高质量的服装 3D 人体化身建模,解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战,成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。
Dec, 2023
本文提出了一个高效的三维服装化身重建框架。该框架通过高精度的基于优化的方法和高效的基于学习的方法相结合,以从单个图像中实现高保真度的服装化身重建为目标。通过在规范空间中以基于学习的方式使用隐式模型来学习人的一般形状,并通过以优化方式在姿态空间中估计非刚性变形来细化表面细节,使用超级网络来生成良好的初始化,从而极大地加速了优化过程的收敛。在各种数据集上的大量实验表明,所提出的服装化身重建框架成功地为现实场景中的任意穿着的人类产生了高保真度的化身。
Apr, 2023
我们提出了 GaussianAvatar,一种从单个视频中创建具有动态 3D 外观的逼真人类化身的高效方法。通过引入可动画化的 3D 高斯函数来明确表示各种姿势和服装风格的人类,可以更有效和一致地从 2D 观察中融合 3D 外观。我们的表示进一步增强了动态属性,以支持姿势相关的外观建模,其中设计了一个动态外观网络和可优化特征张量来学习运动到外观的映射。此外,通过利用可微分的运动条件,我们的方法在化身建模过程中使得动作和外观能够进行联合优化,有助于解决单眼设置中不准确的运动估计问题。GaussianAvatar 的有效性在公共数据集和我们的收集数据集上得到验证,展示了其在外观质量和渲染效率方面的优越性能。
Dec, 2023
本文提出了一种方法,将人体模型与可微分渲染相结合,从多视点 RGB 视频中创建可动态的穿着衣服的人形化身,其具有细节化的几何结构,并且能够适应超出分布范围的姿势。
Oct, 2022
AvatarFusion 利用一个潜在的扩散模型,同时从头到脚地生成人类逼真的头像,并将衣服与人物身体分割开来。AvatarFusion 包括第一个脱离衣物的神经隐式头像模型,该模型采用了新的双体积渲染策略,将脱离衣物和衣物子模型在一个空间中渲染。我们还引入了一种新的优化方法,称为 Pixel-Semantics Difference-Sampling(PS-DS),该方法在语义上将身体和衣物的生成分开,并生成各种服装风格。此外,由于我们的模型脱离了衣物,因此我们可以更换头像的衣服。
Jul, 2023