ECCVJul, 2020

NormalGAN: 从单个 RGB-D 图像中学习详细的 3D 人类形象

PDF
TL;DR这篇论文提出了一种名为 NormalGAN 的方法，使用对立学习的方式，从单张 RGB-D 图像中重建完整且详细的 3D 人体模型，该方法利用 Normal maps 编码的 3D 表面细节信息能够更好地学习几何细节，其性能优于其他表示方式，并且能够以 20fps 的速度在消费类 RGB-D 传感器上生成完整且详细的 3D 人体重建结果。
normalgan3d human reconstructionadversarial learningrgb-dnormal maps
发现论文，激发创造
  • 基于法向引导的高保真三维曲面重建的神经隐式函数

    通过使用一阶微分特性 (即，表面法线)，本文展示了训练神经表示形成高准确度的 3D 表面重建，即使只有两个 RGB 视图可用，极大地改善了以前难以捕捉的复杂几何细节和薄结构。

    Jun, 2024

  • RGBD-GAN：通过 RGBD 图像合成从自然图像数据集中无监督学习 3D 表示

    该研究提出了一种基于 RGBD-GAN 的新型生成模型，可以从 2D 图像中实现无监督的 3D 表示学习，并能通过相机参数进行图像生成和深度图像生成，无需 3D 注释，通过实验证明其对各种生成器体系结构都具有普适性。

    Sep, 2019

  • 基于法线图的服装人体弱监督三维重建

    使用 2D 法线贴图进行弱监督的基于深度学习的方法，实现服装人体的三维重建。利用神经网络推断在休息姿势下围绕身体离散的四面体网格上的有符号距离函数 (SDF)，接着利用推断得到的姿势和相机参数生成法线贴图。通过 Marching Tetrahedra 从四面体网格上的 SDF 计算出一个三角化表面，从而方便进行微分计算（反向传播）。因此，仅凭借真实的法线贴图（没有体积信息的真实数据），我们就可以训练网络从相应的 RGB 图像中生成 SDF 值。可选择性地使用多视角损失以改善结果。我们展示了该方法在网络推断和三维重建方面的有效性。

    Nov, 2023

  • DeepHuman：从单张图像重建 3D 人体

    提出了一种用于从单个 RGB 图像进行 3D 人体重建的基于图像引导的体积到体积的转换 CNN，通过 SMPL 模型生成密集的语义表示来减少与表面几何重建相关的歧义，将不同尺度的图像特征融合到三维空间中，并通过法线细化网络来进一步提高可见面细节的精度，使用所提出的体积法向投影层将其连接到体积生成网络中，并使用其中包含的 3D 真实世界人体模型数据集进行训练，实验表明该方法在前沿方法中表现优异。

    Mar, 2019

  • ANIM：从单个 RGB-D 图像准确重建人类模型的神经隐式模型

    通过引入深度观察来重建任意 3D 人体形状的 ANIM 方法，在生成具有精确度的 3D 人体表面方面，优于使用 RGB、表面法线、点云或 RGB-D 数据的最新方法。

    Mar, 2024

  • 基于分层 RGB-D 融合的深度表面法线估计

    本论文提出了一种基于 RGB-D 图像的表面法向估计的分层融合网络和自适应特征再加权，设计了混合多尺度损失函数来学习准确的法向估计，实验证明了该方法在场景理解中的有效性。

    Apr, 2019

  • RGB-D 融合：基于图像条件的人型主体深度扩散

    RGB-D-Fusion 模型使用条件去噪扩散概率模型从人类主体的低分辨率单眼 RGB 图像生成高分辨率深度图，并引入深度噪声增强技术以提升超分辨率模型的鲁棒性。

    Jul, 2023

  • 基于神经网络的单张图像人体深度详细估计

    本文提出了一种神经网络来估算单张 RGB 图像中前景人物的详细深度图，其中分离深度图为平滑基础模型和残差细节模型设计出两个分支的网络来回归它们，并利用一种新的网络层将粗深度图和表面法线融合以进一步提高最终结果。

    Oct, 2019

  • HumanNorm：高质量和逼真的 3D 人体生成的正常扩散模型学习

    通过使用法线贴图对文本到图像传播模型进行微调，使其能够适应文本到法线传播模型，从而提高对三维几何体的二维感知，同时保留从大规模数据集中学习到的先验知识，从而实现高质量和逼真的三维人体生成。

    Oct, 2023

  • 使用 StyleGAN 和感知细化实现标准化头像合成

    提出了一种高度稳健的基于 GAN 的框架，可从单个非约束性照片中数字化人物的标准化 3D 头像，并通过采用高度稳健的标准化 3D 面部生成器以及感知细化步骤来生成高质量的标准化面部模型。

    Jun, 2021