Jul, 2023

服装人体的高分辨率体积重建

PDF
TL;DR我们提出了一种新颖的方法，用于从少量的 RGB 图像（例如 1 到 6 张）中重建穿着衣物的人类。我们重新审视了体素方法并证明了通过适当的系统设计可以获得更好的性能。体积表示通过 3D 卷积在利用三维空间上下文方面具有明显优势，对于合理的大型但保守的体积分辨率（例如 512），明显的量化误差可以忽略不计。为了处理内存和计算成本，我们提出了一个复杂的由粗到精的策略，包括体素剔除和子空间稀疏卷积。我们的方法从离散的视觉外壳开始计算粗糙形状，然后专注于粗糙形状附近的窄带进行细化。形状重建后，我们采用基于图像的渲染方法，通过将输入图像与学习到的权重混合来计算表面点的颜色。大量的实验结果表明，我们的方法将最先进方法的平均点到表面（P2S）精度降低了 50％以上，以 512 体积分辨率实现了约 2mm 的准确度。此外，我们渲染的纹理模型与最先进方法相比具有更高的峰值信噪比（PSNR）。
reconstructing clothed humansvolumetric approach3d spatial contextcoarse-to-fine strategyimage-based rendering approach
发现论文，激发创造
  • Function4D：基于极稀疏消费级 RGBD 传感器的实时人体体积捕获

    本文提出了一种结合时间体积融合和深度隐式函数的人体体积捕捉方法，该方法不仅可以实现高质量、连续的重建，而且可以生成包含几何细节和更加逼真的纹理结果的细节保留深度隐式函数，实验结果表明，该方法在稀疏视角、泛化能力、重建质量和运行效率方面优于现有方法。

    May, 2021

  • 通过扭曲三维特征使人形象重现

    本研究基于深度学习的体积表示方法，提出利用人体图片，通过几何变形的方式隐式学习稠密特征体积，并通过卷积解码器将特征体积映射回 RGB 空间，实现了人体图像的任意变形，取得了着装识别和人像表情生成方面的最新研究成果。

    Jun, 2020

  • 高精度人体重建的体积视频

    通过优化深度学习多视图立体网络来估计深度图，并采用滤波、融合等后处理方法，实现了高保真度的人体重建。

    Feb, 2022

  • 通过体积回归从单张图片重建三维人体

    本文提出使用卷积神经网络进行端到端直接重建人类三维几何通过体积回归，无需拟合形状模型，能够从多种输入类型训练并处理姿态变化和细节重建。

    Sep, 2018

  • 单视图粗细层次三维人体姿态预测

    本研究通过对 3D 人体姿态估计表征问题的认真研究，提出了一种方法，并且对现有的最优解的表现进行了超越，在标准测试基准中相对误差降低超过 30％，该方法包括 Convolutional Network、端到端的学习模型、从粗到细的预测方案和三维体表示。

    Nov, 2016

  • DeepHuman：从单张图像重建 3D 人体

    提出了一种用于从单个 RGB 图像进行 3D 人体重建的基于图像引导的体积到体积的转换 CNN，通过 SMPL 模型生成密集的语义表示来减少与表面几何重建相关的歧义，将不同尺度的图像特征融合到三维空间中，并通过法线细化网络来进一步提高可见面细节的精度，使用所提出的体积法向投影层将其连接到体积生成网络中，并使用其中包含的 3D 真实世界人体模型数据集进行训练，实验表明该方法在前沿方法中表现优异。

    Mar, 2019

  • HISR：用于逼真的 3D 人体重建的混合隐式表面表示

    我们提出了一种新的混合隐式表面表示方法来建模人体形状，该表示方法由两个表面层组成，用于表示穿着衣物的人体的不同区域，我们使用视觉线索自动分割不同区域，并学习重建两个有符号距离函数，我们在不透明区域上执行基于表面的渲染以保留高保真度的表面法线，并在半透明区域上执行体积渲染（例如头发），实验证明我们的方法在 3D 人体重建上取得了最先进的成果，并在其他物体上展示了有竞争力的表现。

    Dec, 2023

  • 单张图片中的多人隐式重建

    本研究提出了一种新的端到端学习框架，可以从一张图像中获取多人的详细且具有空间连续性的重建，并能解决多人姿态、遮挡、衣着等问题带来的困难，实现了对穿衣人体在任意姿势下的模型自由_implcicit 3D 重建和同步估计。针对模型和数据集，实验结果表明，该方法与现有的竞争方法相比，具有更高的精度和完整性，呈现了最先进的性能。

    Apr, 2021

  • PVA：像素对齐的容积化身

    本文提出一种利用神经放射场和局部像素对齐特征预测人头部的体积化代理，可以在多身份环境中进行泛化，并且无需明确的 3D 监督。该方法在以光度渲染损失为基础的端到端训练中表现出更好的质量，并且能够生成真实的面部表情。

    Jan, 2021

  • 从单张图像重建高保真度着装化身

    本文提出了一个高效的三维服装化身重建框架。该框架通过高精度的基于优化的方法和高效的基于学习的方法相结合，以从单个图像中实现高保真度的服装化身重建为目标。通过在规范空间中以基于学习的方式使用隐式模型来学习人的一般形状，并通过以优化方式在姿态空间中估计非刚性变形来细化表面细节，使用超级网络来生成良好的初始化，从而极大地加速了优化过程的收敛。在各种数据集上的大量实验表明，所提出的服装化身重建框架成功地为现实场景中的任意穿着的人类产生了高保真度的化身。

    Apr, 2023