为可动人形模型建模衣服的单独层

Jun, 2021

为可动人形模型建模衣服的单独层

Modeling Clothing as a Separate Layer for an Animatable Human Avatar

Donglai Xiang, Fabian Prada, Timur Bagautdinov, Weipeng Xu, Yuan Dong...

TL;DR通过多视角捕捉视频对具有显式服装表示的可动衣物人形头像进行建模，采用二层网格表示注册每个 3D 扫描，通过时序卷积网络来预测衣物潜在编码以实现人体动力学和服装状态的交互作用。

Abstract

We have recently seen great progress in building photorealistic animatable full-body codec avatars, but generating high-fidelity animation of clothing is still difficult. To address these difficulties, we propose a method to build an animatable clothed body avatar with an explicit representation of the clothing on the upper body from multi-view captured vide

animatable avatar clothing representation multi-view capture codec avatar temporal convolution network

发现论文，激发创造

使用单目摄像头实现衣着 3D 人体角色的动态外貌建模

使用一个人的动态视频，通过引入新颖的组合式人体建模框架，结合显式建模和隐式建模的方法，实现高质量的服装 3D 人体化身建模，解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战，成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。

Dec, 2023

AvatarFusion: 2D 扩散的零样本生成不受服装影响的 3D 化身

AvatarFusion 利用一个潜在的扩散模型，同时从头到脚地生成人类逼真的头像，并将衣服与人物身体分割开来。AvatarFusion 包括第一个脱离衣物的神经隐式头像模型，该模型采用了新的双体积渲染策略，将脱离衣物和衣物子模型在一个空间中渲染。我们还引入了一种新的优化方法，称为 Pixel-Semantics Difference-Sampling（PS-DS），该方法在语义上将身体和衣物的生成分开，并生成各种服装风格。此外，由于我们的模型脱离了衣物，因此我们可以更换头像的衣服。

Jul, 2023

从单张图像重建高保真度着装化身

本文提出了一个高效的三维服装化身重建框架。该框架通过高精度的基于优化的方法和高效的基于学习的方法相结合，以从单个图像中实现高保真度的服装化身重建为目标。通过在规范空间中以基于学习的方式使用隐式模型来学习人的一般形状，并通过以优化方式在姿态空间中估计非刚性变形来细化表面细节，使用超级网络来生成良好的初始化，从而极大地加速了优化过程的收敛。在各种数据集上的大量实验表明，所提出的服装化身重建框架成功地为现实场景中的任意穿着的人类产生了高保真度的化身。

Apr, 2023

PhysAvatar：从视觉观察中学习装束的 3D 化身的物理学

采用逆渲染和逆物理学相结合的方法，PhysAvatar 能够建立逼真的数字人物模型，特别是穿着松散的衣物并能在未见过的动作和光照条件下生成高质量的新视角渲染效果。

Apr, 2024

LayGA：适用于可动作服装转换的分层高斯人物头像

通过 Layered Gaussian Avatars (LayGA) 提出将衣物和人体作为两个独立层次表示的方法，从多视角视频中实现真实感的可动衣物迁移，以实现高质量的几何重建、真实感渲染以及虚拟试穿，并在性能上优于其他基线方法。

May, 2024

动态神经服

本文介绍了一种解决数字化人物着装的解决方案，该方案可以通过神经网络在测试时直接生成逼真的动态服装图像序列，以解决现有工作流程中重复性高且耗时的问题，并且可以在新的身体形状和背景图像下进行微调，并提供了与现有神经渲染和图像序列转换方法的定量比较。

Feb, 2021

使用点的能力对穿着衣物的人进行建模

该研究使用 3D 点云与神经网络技术，通过学习服装的形状特征和姿态变形，并优化适应未见数据，实现了高效的 3D 人体化身动态生成。

Sep, 2021

CloSET: 使用显式模板分解对穿着衣服的人类进行连续表面建模

该研究提出了一种基于点的解决方案来解决服装变形问题，并引入了一个包含现实世界人类穿着高质量扫描数据集的方法进行验证。

Apr, 2023

IntrinsicAvatar：基于物理的动态人体反渲染，通过显式光线追踪从单目视频中

我们提出了 IntrinsicAvatar，一种从仅单目视频中恢复着装人类角色的内在属性，包括几何、反射率、材质和环境光照的新方法。

Dec, 2023

Cloth2Body: 从 2D 服装生成 3D 人体网格

在本研究中，我们定义和研究了一个新的 Cloth2Body 问题，其目标是从 2D 服装图像生成 3D 人体网格。与现有的人体网格恢复问题不同，Cloth2Body 需要解决输入的局部观察和输出的高度多样性带来的新挑战。我们提出了一个端到端的框架，从 2D 服装图像准确估计参数化为姿势和形状的 3D 体网格，并通过实验结果证明该框架达到了最先进的性能，在对齐服装的同时能够有效恢复自然而多样化的 3D 人体网格。

Sep, 2023