Dec, 2018

领域自适应的单视角三维重建

PDF
TL;DR本文提出了一种基于对抗训练的框架来解决单视角 3D 形状重建中存在的挑战，该框架通过降低自然和合成图像之间的差异、迫使重建在逼真的物体形状流形上以及实施其他约束来改进性能。实验结果表明，该方法优于基线模型，且采用简化模型即可达到与最先进方法相当的结果。
3d shape reconstructionsynthetic dataadversarial trainingdomain adaptationmanifold
发现论文，激发创造
  • 学习形状先验用于单视图 3D 补全和重建

    本文提出 ShapeHD，将深度生成模型与马赛克技术相结合，解决了单视角 3D 形状补全和重建的两个层面的问题，并在多个真实数据集上取得了比现有技术领先很多的表现。

    Sep, 2018

  • 野外三维形状重建的目标中心域随机化

    通过领域随机化技术，我们提出了 ObjectDR 方法，通过对物体外观和背景进行随机模拟的方式，通过条件生成模型生成符合特定空间条件的图像，并通过预训练改进了现有的三维形状重建模型。

    Mar, 2024

  • 具有对抗约束的弱监督 3D 重建

    本文研究使用前景掩码作为弱监督，通过光线追踪池化层实现透视投影和反向传播的三维重建，同时限制重建到未标记的能匹配覆盖面的真实三维形状。通过该方法可以使用 GAN 训练现有工具。我们通过各种数据集进行单视角和多视角重建的实验和分析表明，我们约束重建的方法在合成和真实图像的重建中均有成效。

    May, 2017

  • 仅仅利用二维监督学习来生成和重建三维网格

    论文提出了一种统一框架，用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习，只需要单个实例的 2D 图像，使用网格作为输出表示，并利用光照信息提高了性能。实验结果表明，该方法在定量度量上与最新的基于体素方法相当或优于，而且结果更加美观，并且在弱监督学习方面表现良好。

    Jul, 2018

  • 单视图三维重建的视角先验学习

    该研究提出了一种训练鉴别器和重构器的方法，在重构器中使用先验知识来纠正未被观察到的视角，以便从任意视角重新构建形状。与目前最先进的方法相比，实验结果表明该方法在合成和自然图像数据集上表现更好。

    Nov, 2018

  • 高保真度的单视角 3D 场景重建

    从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

    Nov, 2023

  • 通过形状、姿态和着色的生成建模学习单张图片的三维重建

    该研究提出了一种新的框架，可以在只有 2D 图像且每个实例只有一个视角的情况下，从单张图像中进行特定类别的三维重建和新形状的生成，并支持较弱的监督。采用网格作为输出表达方式，利用光照参数和明暗信息进行训练，支持对洼地的物体类别进行学习。通过五项应用评估，发现该方法的性能表现优于现有的一些方法。

    Jan, 2019

  • SCoDA：面向真实扫描的域自适应形状完成

    该研究提出了一种新的任务 SCoDA，通过从合成数据到真实数据的领域自适应解决真实扫描形状完整性的问题，并使用一个新的数据集 ScanSalon 进行评估，提出了跨域特征融合方法和自我训练框架。实验证明改进了 6％至 7％的 mIoU。

    Apr, 2023

  • 单张图像的新型物体形状的三维重建

    该研究提出了一种基于 SDFNet 的创新方法，可以通过仅仅一张图像实现对物体的三维形状进行准确预测，相对于 GenRe 和 OccNet 方法来说，该方法在对已知和未知物体的形状重建方面实现了最优性能。

    Jun, 2020

  • 基于原型形状先验的半监督单视角 3D 重建

    提出一种半监督三维重建框架 SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在 ShapeNet 基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022