Apr, 2023

从单张图像重建高保真度着装化身

PDF
TL;DR本文提出了一个高效的三维服装化身重建框架。该框架通过高精度的基于优化的方法和高效的基于学习的方法相结合，以从单个图像中实现高保真度的服装化身重建为目标。通过在规范空间中以基于学习的方式使用隐式模型来学习人的一般形状，并通过以优化方式在姿态空间中估计非刚性变形来细化表面细节，使用超级网络来生成良好的初始化，从而极大地加速了优化过程的收敛。在各种数据集上的大量实验表明，所提出的服装化身重建框架成功地为现实场景中的任意穿着的人类产生了高保真度的化身。
3d clothed avatarreconstructionlearning-basedoptimization-basedhyper-network
发现论文，激发创造
  • 使用单目摄像头实现衣着 3D 人体角色的动态外貌建模

    使用一个人的动态视频，通过引入新颖的组合式人体建模框架，结合显式建模和隐式建模的方法，实现高质量的服装 3D 人体化身建模，解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战，成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。

    Dec, 2023

  • 为可动人形模型建模衣服的单独层

    通过多视角捕捉视频对具有显式服装表示的可动衣物人形头像进行建模，采用二层网格表示注册每个 3D 扫描，通过时序卷积网络来预测衣物潜在编码以实现人体动力学和服装状态的交互作用。

    Jun, 2021

  • 单张图片中的多人隐式重建

    本研究提出了一种新的端到端学习框架，可以从一张图像中获取多人的详细且具有空间连续性的重建，并能解决多人姿态、遮挡、衣着等问题带来的困难，实现了对穿衣人体在任意姿势下的模型自由_implcicit 3D 重建和同步估计。针对模型和数据集，实验结果表明，该方法与现有的竞争方法相比，具有更高的精度和完整性，呈现了最先进的性能。

    Apr, 2021

  • ARCH++：适用于动画的穿衣人体重建再探讨

    本研究提出了 ARCH++，一种使用图像的方法来重建具有任意服装的三维人物形象，通过引入端到端的基于点的几何编码器、共同监督框架和图像到图像转换网络来解决重建质量中存在的局限性，同时在公共基准测试和用户研究中证明了实现了重建质量和真实性的改进。

    Aug, 2021

  • 从单张图片中重建互动多人穿着的 3D 模型

    本文介绍了一种重建单张图像中多人穿着服装的相互作用几何结构的新型流程。通过利用两个人体先验来解决遮挡带来的挑战，使用几何先验和表面接触先验，在场景空间中全局细化人体姿态，实现无穿透的准确重建。与现有方法相比，结果表明我们的方法具有完备性、全局一致性和物理可行性。

    Jan, 2024

  • IntrinsicAvatar：基于物理的动态人体反渲染，通过显式光线追踪从单目视频中

    我们提出了 IntrinsicAvatar，一种从仅单目视频中恢复着装人类角色的内在属性，包括几何、反射率、材质和环境光照的新方法。

    Dec, 2023

  • HiLo: 基于参数模型的详细且鲁棒的三维着装人体重建，使用了高频和低频信息

    通过使用高频率和低频率信息，提出了 HiLo 方法来从 RGB 图像中重建穿着衣物的人体，用于虚拟试衣、电影和游戏等应用。实验结果表明，HiLo 方法在 Thuman2.0 和 CAPE 数据集上的 Chamfer 距离方面的优势达到 10.43% 和 9.54%，同时对来自参数化模型的噪声、挑战姿势和不同服装风格表现出鲁棒性。

    Apr, 2024

  • 从单个 RGB 相机学习重建穿着衣服的人

    本文提出了一种基于学习的模型，利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状，可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量，同时加入衣服和头发的形状，具有快速和准确的预测，这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习，可将可变数量的帧作为输入，即使仅有一张图像，也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。

    Mar, 2019

  • AG3D: 从 2D 图像集合中学习生成 3D 头像

    本文提出了一种从 2D 图像生成逼真的 3D 人物的新方法，并使用多个辨别器和 2D 法线图形式的几何线索来训练模型，取得了在几何和外观方面超过以前 3D 和关节感知方法的性能，通过系统的消融研究验证了模型的有效性和每个组件的重要性。

    May, 2023

  • PhysAvatar：从视觉观察中学习装束的 3D 化身的物理学

    采用逆渲染和逆物理学相结合的方法，PhysAvatar 能够建立逼真的数字人物模型，特别是穿着松散的衣物并能在未见过的动作和光照条件下生成高质量的新视角渲染效果。

    Apr, 2024