ICCVSep, 2021

SLIDE：使用软层叠和深度感知修补的单张图像 3D 摄影

PDF
TL;DRSLIDE 是一种用于单张图像 3D 摄影的模块化和统一的系统，它利用简单而有效的软层叠策略，在新视角中更好地保留外观细节。SLIDE 使用高效的分层深度结构，可以通过单一前向传递来生成高质量的 3D 照片。
single image 3d photographymonocular depth networksinpainting networksslidesoft layering strategy
发现论文，激发创造
  • 上下文感知分层深度修复的三维摄影

    提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。

    Apr, 2020

  • 隐形缝合：使用深度修复生成平滑的 3D 场景

    基于 2D 生成扩散模型的进展，我们在三维场景生成领域做出两个基本贡献：首先，通过引入新型深度完成模型学习三维融合过程，提高场景的几何一致性；其次，基于真实几何关系引入新的场景生成方法基准系统，用于评估场景结构的质量。

    Apr, 2024

  • SynSin：从单张图像到端到端的视角合成

    本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。

    Dec, 2019

  • 在野外应用学习的自适应多面板图像进行单视图合成

    本文提出一种基于多平面图像（MPI）表示的新方法来合成野外照片的新视角，结合深度估计和颜色填充技术，通过多平面图像表示解决具有复杂 3D 几何的场景，使用大规模立体训练数据并经过实验验证达到最新成果。

    May, 2022

  • iNVS：借用扩散修复算法实现新视角生成

    从单一源图像生成一致的新视图的方法，利用单目深度估计器将源视图的可见像素转移到目标视图，并通过基于外极线的新的屏蔽机制进一步改善方法的质量，从而在各种对象上实现零样本新视图合成。

    Oct, 2023

  • 使用多平面图像进行单视图合成

    该论文利用深度学习技术对单张图片进行多平面图像生成，应用于视图合成问题中，并将 scale-invariant 视图合成应用于监督训练，在在线视频上进行训练。该方法适用于多个数据集，可以生成合理的深度图，并且可以学习填充前景物体背后的内容。

    Apr, 2020

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018

  • 一次拍摄式 3D 摄影

    本文介绍了一种端到端的系统，用于创建和查看单张 3D 照片，并阐述了算法和设计选择。作者采用新的单眼深度估计网络从 2D 输入图像中获取深度，在移动设备上进行处理，然后将其转换为基于网格的表示形式。这一方法在移动设备上仅需几秒钟的处理时间。

    Aug, 2020

  • PixelSynth: 从单张图像生成 3D 一致的体验

    使用可微分渲染和 3D 推理相结合的自回归建模方法，实现了单幅图像的大视角高度一致性生成，比其他方法在视图生成和 3D 一致性方面具有显著的改进。

    Aug, 2021

  • StructureFlow: 结构感知外观流进行图像修复

    本文提出了一个两阶段模型来解决图像修复中细节和结构重建的问题，第一阶段采用保边平滑图像训练结构重建器，第二阶段基于重构的结构设计纹理生成器来生成图像细节，实验证明该模型表现优异。

    Aug, 2019