Nov, 2023

高保真度的单视角 3D 场景重建

PDF
TL;DR从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
3d scenesobject shapestexturessingle-view imagesneural implicit shape
发现论文，激发创造
  • 通过形状、姿态和着色的生成建模学习单张图片的三维重建

    该研究提出了一种新的框架，可以在只有 2D 图像且每个实例只有一个视角的情况下，从单张图像中进行特定类别的三维重建和新形状的生成，并支持较弱的监督。采用网格作为输出表达方式，利用光照参数和明暗信息进行训练，支持对洼地的物体类别进行学习。通过五项应用评估，发现该方法的性能表现优于现有的一些方法。

    Jan, 2019

  • 无需针对每个形状优化，45 秒内将任意单张图像转换为 3D 网格

    该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。

    Jun, 2023

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024

  • 从单视图学习重构无纹理可变形表面

    论文提出了一种基于数据驱动的方法，可以用于从单张图片中预测纹理缺失表面的三维重建结果，结果可以表示为网格、法线或深度图等形式，研究表明在文中所述情境下，网格并不适用于处理纹理缺失表面的三维重建。该方法可以很好地泛化到未见过的物体，并且更优于目前最先进的 SfS 技术。

    Mar, 2018

  • 利用自监督形状与姿态网络从图像集合转换为点云

    提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

    May, 2020

  • Front2Back: 基于前后预测的单视角 3D 形状重建

    利用三维表面几何约束以及反射对称性，从单个二维图像中恢复三维网格，相对于现有的 2D 和 2.5D 数据的三维重建方法，实现了更好的细节保留和性能表现。

    Dec, 2019

  • Intrinsic3D： 高质量的 3D 重建，通过联合外观和几何优化，带有空间变化照明

    本文提出一种新的方法，可同时优化几何编码、纹理以及材料和场景照明，以从消费级 RGB-D 传感器中获得高质量的 3D 重建。

    Aug, 2017

  • RealFusion: 从单张图像中重建任意物体的 360° 重建

    本文提出了一种基于神经辐射场的方法，通过使用已有的条件图像生成器引导其 “创造” 目标物体的新视图，通过 DreamFields 和 DreamFusion 的启发，将给定的输入视图、条件先验和其他正则化参数融合在一起，从而解决了从单张图像进行 360° 拍摄的问题，并在单眼 3D 建模重建中达到了最先进的效果。

    Feb, 2023

  • 仅仅利用二维监督学习来生成和重建三维网格

    论文提出了一种统一框架，用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习，只需要单个实例的 2D 图像，使用网格作为输出表示，并利用光照信息提高了性能。实验结果表明，该方法在定量度量上与最新的基于体素方法相当或优于，而且结果更加美观，并且在弱监督学习方面表现良好。

    Jul, 2018

  • 基于原型形状先验的半监督单视角 3D 重建

    提出一种半监督三维重建框架 SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在 ShapeNet 基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022