CVPRApr, 2020

上下文感知分层深度修复的三维摄影

PDF
TL;DR提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。
rgb-d input image3d photonovel view synthesislayered depth imagelearning-based inpainting model
发现论文，激发创造
  • SLIDE：使用软层叠和深度感知修补的单张图像 3D 摄影

    SLIDE 是一种用于单张图像 3D 摄影的模块化和统一的系统，它利用简单而有效的软层叠策略，在新视角中更好地保留外观细节。SLIDE 使用高效的分层深度结构，可以通过单一前向传递来生成高质量的 3D 照片。

    Sep, 2021

  • DeepDR: 深度结构感知的 RGB-D 修复用于减弱现实

    Diminished reality 通过使用 inpainting 技术生成并纠正场景的图像和几何结构，DeepDR 框架在实时帧速率下运行，具有最小的时间伪影，并在复杂背景下重建锐利和一致的边界。

    Dec, 2023

  • 从单张图像中预测多层深度：揭示物体背后的景深信息

    该论文提出了一种基于卷积神经网络的方法，通过预测包含被前景遮挡区域信息的分层深度图像和前景分离掩模来合成场景和填补遮挡的空白，用于虚拟现实和减弱现实领域的单幅图像的新视点合成。

    Jul, 2018

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018

  • 一次拍摄式 3D 摄影

    本文介绍了一种端到端的系统，用于创建和查看单张 3D 照片，并阐述了算法和设计选择。作者采用新的单眼深度估计网络从 2D 输入图像中获取深度，在移动设备上进行处理，然后将其转换为基于网格的表示形式。这一方法在移动设备上仅需几秒钟的处理时间。

    Aug, 2020

  • 基于对象的单图多层场景分解

    本文提出了一种从单张 RGB 图像中建立分层深度图像的方法，其具有自适应层数和语义编码，特别适用于处理遮挡物体的准确性和重建三维场景。

    Aug, 2019

  • 隐形缝合：使用深度修复生成平滑的 3D 场景

    基于 2D 生成扩散模型的进展，我们在三维场景生成领域做出两个基本贡献：首先，通过引入新型深度完成模型学习三维融合过程，提高场景的几何一致性；其次，基于真实几何关系引入新的场景生成方法基准系统，用于评估场景结构的质量。

    Apr, 2024

  • HI-GAN: 层次修复生成对抗网络用于合并的 RGB 和深度修复

    我们提出了一种新的分层修复 GAN（HI-GAN），它由三个 GAN 组成，EdgeGAN 和 LabelGAN 分别修复边缘图像和分割标签图像，而 CombinedRGBD-GAN 则结合它们的潜在输出并进行 RGB 和深度修复，同时边缘图像和分割标签图像作为辅助输入显著增强了修复性能，并通过分层优化实现了端到端的操作，实验证明 HI-GAN 在整体上表现优于现有方法。

    Feb, 2024

  • 基于多层深度和极线变换的三维场景重建

    此研究论文研究如何从单个 RGB 图像自动重建场景的完整 3D 模型，它采用一种新的 Epipolar Feature Transformer 技术来联合图像的多层深度表示和卷积神经网络特征以提高场景信息的准确性。

    Feb, 2019

  • RICo：通用场景重建的旋转 - 修复 - 完整方法

    通过结构化将问题分解为补全和 2D 到 3D 场景转换两个步骤，本文提出了一种场景重建的方法。通过利用大型语言模型来补全从不同视角渲染的场景彩色图像中的缺失区域，然后通过预测补全图像的法线并解决缺失深度值的方法来将这些补全图像转换为 3D。通过对法线的预测而不是直接预测深度，我们的方法可以适应深度分布和尺度的变化，同时在提供对新对象和场景的泛化能力的同时，优于多个对比基线的表现。

    Jul, 2023