Jul, 2023

RICo：通用场景重建的旋转 - 修复 - 完整方法

PDF
TL;DR通过结构化将问题分解为补全和 2D 到 3D 场景转换两个步骤，本文提出了一种场景重建的方法。通过利用大型语言模型来补全从不同视角渲染的场景彩色图像中的缺失区域，然后通过预测补全图像的法线并解决缺失深度值的方法来将这些补全图像转换为 3D。通过对法线的预测而不是直接预测深度，我们的方法可以适应深度分布和尺度的变化，同时在提供对新对象和场景的泛化能力的同时，优于多个对比基线的表现。
发现论文，激发创造
  • 隐形缝合：使用深度修复生成平滑的 3D 场景

    基于 2D 生成扩散模型的进展，我们在三维场景生成领域做出两个基本贡献：首先，通过引入新型深度完成模型学习三维融合过程，提高场景的几何一致性；其次，基于真实几何关系引入新的场景生成方法基准系统，用于评估场景结构的质量。

    Apr, 2024

  • 使用深度强化学习实现体积引导、渐进式视角修复，从单张深度图完成 3D 点云场景补全

    通过深度强化学习方法实现了一种逐步视角修复的三维空间点场景补全方法，利用体积重建、深度图像修复和多视角选择方法来达到高质量的场景重建。

    Mar, 2019

  • 基于视角一致修补的三维场景杂物检测与去除

    本文提出了一种自动系统，在 3D 场景中移除杂物并填补缺失部位，解决了 3D 分类和 3D 修复两个关键问题，实现了杂物与纹理准确的合成，实验表明该方法在杂物分割和 3D 修复方面都表现优秀。

    Apr, 2023

  • 基于上下文的图像修复：推断、匹配和翻译

    本文提出了一种基于深度神经网络和纹理传播的学习方法来完成图像修复，通过分离任务为推理和翻译两个步骤并用简单的启发式算法指导局部纹理从边界到空洞的传播，我们证明了我们的方法在几个公共数据集上能够产生比以前的最先进方法更高质量的视觉结果。

    Nov, 2017

  • 一般非刚性场景三维重建的最新趋势

    重建现实世界的模型，包括三维几何、外观和场景的运动，是计算机图形学和计算机视觉的核心问题。该研究汇总了最新的技术，并讨论了非刚性场景的三维重建、场景分解和编辑、通用建模等内容，同时探讨了其中的限制和挑战。

    Mar, 2024

  • 上下文感知分层深度修复的三维摄影

    提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。

    Apr, 2020

  • 幕后之幕：通过遮挡面完善增强室内 3D 场景重建

    利用深度读数完成室内三维重建和填充被遮挡表面的新方法，通过学习现有完整场景的三维几何先验推断未知场景的遮挡几何，提出了粗细层级的八叉树表示方法以及包含地理解码器和三维修复器两个部分的双解码器架构，显著提升三维重建的完整性。

    Apr, 2024

  • 高保真度的单视角 3D 场景重建

    从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

    Nov, 2023

  • 学习从未见过的类别重建形状

    本研究提出一种通用重建算法（GenRe），利用深度和轮廓等 2.5D 表示方法和球形和体素表示方法，旨在捕捉更通用，不受特定类别约束的形状先验知识，实验结果表明该算法可以很好地解决从单张图像还原 3D 形状，并且能够泛化到未在训练中见过的多种不同类别的新物体。

    Dec, 2018

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016