本文研究了 Transformer Encoder 在 3D 人类网格重建上的应用。提出了一种名为 FastMETRO 的新型 Transformer Encoder-Decoder 结构,对输入标记的复杂性进行了解耦,并通过注意掩码和网格上采样操作引入人体形态学关系的先验知识来提高其收敛速度和准确性。在 Human3.6M 和 3DPW 数据集上,和基于图像的方法相比明显更有效。
Jul, 2022
本文介绍了一种重建单张图像中多人穿着服装的相互作用几何结构的新型流程。通过利用两个人体先验来解决遮挡带来的挑战,使用几何先验和表面接触先验,在场景空间中全局细化人体姿态,实现无穿透的准确重建。与现有方法相比,结果表明我们的方法具有完备性、全局一致性和物理可行性。
Jan, 2024
通过提出一种新颖的编码器 - 解码器 Transformer 架构,结合多视角和时间信息、几何关系和 2D 姿态检测可信度,我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。
Dec, 2023
本文提出了一个高效的三维服装化身重建框架。该框架通过高精度的基于优化的方法和高效的基于学习的方法相结合,以从单个图像中实现高保真度的服装化身重建为目标。通过在规范空间中以基于学习的方式使用隐式模型来学习人的一般形状,并通过以优化方式在姿态空间中估计非刚性变形来细化表面细节,使用超级网络来生成良好的初始化,从而极大地加速了优化过程的收敛。在各种数据集上的大量实验表明,所提出的服装化身重建框架成功地为现实场景中的任意穿着的人类产生了高保真度的化身。
Apr, 2023
通过使用描述性文本启示和个性化模型,TeCH 提出了一种混合的三维重建方法,用于重建细节丰富的衣着人物的未见区域,并在重建准确性和渲染质量方面优于现有方法。
Aug, 2023
本文提出了一种基于 Transformer 的框架,用于从单张图像中进行三维人体纹理估计,并通过 mask-fusion 策略和 part-style loss 来提高图像质量,实验结果表明该方法在 3D 人体纹理估计方面优于现有方法。
Sep, 2021
CLOTH3D 是第一份大规模的 3D 服装人体序列的综合性合成数据集,并提供了基于条件变分自编码器和图卷积的生成模型,实现了在任何姿势和形状下逼真生成 3D 服装。
Dec, 2019
使用一个人的动态视频,通过引入新颖的组合式人体建模框架,结合显式建模和隐式建模的方法,实现高质量的服装 3D 人体化身建模,解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战,成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。
本论文提出了一种基于 ClothWild 的 3D 服装人体重建框架,通过一种弱监督管道和 DensePose-based 损失函数解决了 training 和 in-the-wild 数据之间的大型领域差距,在公开数据集上得到了比现有技术更准确和更健壮的结果。
本研究提出了 ARCH++,一种使用图像的方法来重建具有任意服装的三维人物形象,通过引入端到端的基于点的几何编码器、共同监督框架和图像到图像转换网络来解决重建质量中存在的局限性,同时在公共基准测试和用户研究中证明了实现了重建质量和真实性的改进。
Aug, 2021