Nov, 2023

基于法线图的服装人体弱监督三维重建

PDF
TL;DR使用 2D 法线贴图进行弱监督的基于深度学习的方法，实现服装人体的三维重建。利用神经网络推断在休息姿势下围绕身体离散的四面体网格上的有符号距离函数 (SDF)，接着利用推断得到的姿势和相机参数生成法线贴图。通过 Marching Tetrahedra 从四面体网格上的 SDF 计算出一个三角化表面，从而方便进行微分计算（反向传播）。因此，仅凭借真实的法线贴图（没有体积信息的真实数据），我们就可以训练网络从相应的 RGB 图像中生成 SDF 值。可选择性地使用多视角损失以改善结果。我们展示了该方法在网络推断和三维重建方面的有效性。
发现论文，激发创造
  • TetraTSDF: 通过四面体外壳的单张图像三维人体重建

    该研究提出了一种基于 TetraTSDF 和 PCN 的人体建模方法，通过卷积神经网络和三维人体先验知识，可以从单张图像中重建穿着宽松衣服的真实 3D 人体模型。

    Apr, 2020

  • 无 3D 监督的多视角图像神经三维场景重建

    本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

    Jun, 2023

  • SDF-SRN: 从静态图像中学习有符号距离三维物体重建

    该论文提出了一种名为 SDF-SRN 的方法，通过 2D 轮廓学习无需多视图注释的隐式三维形状表示，实现了单视图训练，并在合成和真实世界数据集上优于当前技术水平的基于单视图监督的方法。

    Oct, 2020

  • SuperNormal：基于多视角法线融合的神经表面重建

    SuperNormal 是一种快速、高保真度的多视图 3D 重建方法，利用表面法线图生成详细表面，通过多分辨率哈希编码和基于路径的射线行进来优化神经有符号距离函数 (SDF) 的体积渲染，相较于现有的多视图光度立体重建方法，在效率和准确性上表现卓越。

    Dec, 2023

  • Atlas: 从姿态图像实现端到端三维场景重建

    提出了一种端到端的三维重建方法，通过直接回归截断带符号距离函数（TSDF）从一组姿势 RGB 图像中实现。使用 2D CNN 独立地提取每个图像的特征，然后通过相机内参和外参进行反投影和累积到体素体积中。此外，通过该方法获取到了三维模型的语义分割。该方法在 Scannet 数据集上得到了评估，既在量化指标上，也在视觉效果上都超过了国际领先的基准结果。

    Mar, 2020

  • 基于归一化流的弱监督 3D 人体姿态和形状重建

    本文提出了一种基于运动捕捉数据集和大规模图像和视频数据集的半监督和自监督学习方法，利用运动和不同 iable 的语义身体部位对齐损失函数进行训练，来精确地估计单眼三维人体姿态和形状。实验结果证明，该方法优于现有技术，可用于广泛的真实场景。

    Mar, 2020

  • NormalGAN: 从单个 RGB-D 图像中学习详细的 3D 人类形象

    这篇论文提出了一种名为 NormalGAN 的方法，使用对立学习的方式，从单张 RGB-D 图像中重建完整且详细的 3D 人体模型，该方法利用 Normal maps 编码的 3D 表面细节信息能够更好地学习几何细节，其性能优于其他表示方式，并且能够以 20fps 的速度在消费类 RGB-D 传感器上生成完整且详细的 3D 人体重建结果。

    Jul, 2020

  • 3DPeople: 建模穿着衣服人的几何形状

    本文提出了一种从单张照片中预测着装人体几何形状的新方法，包括三个关键点：一个新数据集，一个新的形状参数化算法和一个端到端的深度生成网络。

    Apr, 2019

  • 基于多视角和多姿态图像的人体模型的 Pixel2ISDF: 隐式符号距离场

    本研究关注于使用多视图和多姿势的人体输入，重建位于规范空间中的衣着人体。我们利用 SMPLX 模型在规范空间中的几何先验，学习了几何重建的隐式表示，并在姿势网格和规范空间网格之间学习潜在编码。最终，我们的工作在 WCPA MVP-Human Body Challenge 中实现了第三的表现。

    Dec, 2022

  • DeepHuman：从单张图像重建 3D 人体

    提出了一种用于从单个 RGB 图像进行 3D 人体重建的基于图像引导的体积到体积的转换 CNN，通过 SMPL 模型生成密集的语义表示来减少与表面几何重建相关的歧义，将不同尺度的图像特征融合到三维空间中，并通过法线细化网络来进一步提高可见面细节的精度，使用所提出的体积法向投影层将其连接到体积生成网络中，并使用其中包含的 3D 真实世界人体模型数据集进行训练，实验表明该方法在前沿方法中表现优异。

    Mar, 2019