CVPRMar, 2021

单室内全景布局指导的新视角合成

PDF
TL;DR本文提出一种从单个室内全景图生成新视角的方法，在使用卷积神经网络提取深层特征和估计深度图的基础上，利用室内场景的布局信息指导目标视角图像的生成，并加入几何约束以提高一致性和鲁棒性。实验结果表明，该方法在小大相机移动下均有较好效果。
view synthesispanoramadeep featuresroom layoutlarge camera movements
发现论文，激发创造
  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • 从单张图片合成一致的长期 3D 场景视频

    在这篇论文中，我们提出了一种新的方法来从单个场景图像和大摄像机动作轨迹中综合出一致的长视频，并使用自回归 Transformer 以及基于摄像机的局部性约束来预测多个帧之间关系和下一帧，从而实现了对多帧的序列建模，优于现有的方法，尤其是在室内 3D 场景的长期未来合成中表现出色。

    Mar, 2022

  • 自由视角合成

    本文提出了一种新的方法，可以从自由分布在场景周围的输入图像中合成新视角的图像，不依赖于输入视角的规则排列，可以为场景中的自由相机运动合成图像，并适用于具有任意几何布局的通用场景，该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架，然后基于透视图创建一个代理深度图，进而利用循环编解码网络处理从附近视角重新投影的特征，并合成新视角。该网络不需要针对特定场景进行优化，通过数据集训练后，可以在之前看不到的环境中工作，本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明，表现出色，大大优于之前和同时进行的工作。

    Aug, 2020

  • 利用几何和深度学习从全景图像创建布局

    该论文提出了一种从单个全景图像中恢复室内场景的三维布局恢复新方法，该方法结合几何推理和深度学习技术，从而提取结构角并生成房间的布局模型，并在 SUN360 和 Stanford 公共数据集上进行实验。

    Jun, 2018

  • 从宽基线立体对学习生成新视角

    介绍了一种用于单个广角立体图像对的新视角合成的方法，包括 3D 场景重构和外观变化的先验模型，提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器，通过大规模实际数据集的训练，证明了模型学习到了强大的多视角几何先验，大大缩短了渲染时间，并在两个实际数据集上得到了显著的优越性能。

    Apr, 2023

  • 基于几何引导的卫星图像街景全景合成

    本文提出了一种新的方法，通过建立街景全景图和卫星图像之间的几何对应关系，生成具有新颖性的街景全景图，并展示它在场景几何上的优越性。

    Mar, 2021

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • OmniLayout: 室内球形全景图的房间布局重建

    本文提出了使用球形卷积，设计了一个名为 OmniLayout 的网络，该网络直接在球面表面上进行卷积，并使用新的评估指标证明了该网络可以有效地解决全景图像中局部扭曲的问题，最终在两个基准数据集上的表现也优于其他同类网络。

    Apr, 2021

  • 从单一卫星图像生成街景全景视频

    本文提出了一种新方法，通过使用单张卫星图像和相机轨迹合成具有时间和几何一致性的全景视频。该方法使用了 3D 点云表示场景，并通过相应生成的稠密三维到二维相对应关系，实现了几何和时间上的一致性。同时使用级联网络和两个 Hourglass 模块生成粗特征和细特征以及最后生成逼真的视频。该方法在实验中得到了超越其他现有的合成方法的优异结果，并且是首个成功将跨视角图像合成为视频的方法。

    Dec, 2020

  • LayoutNet：从单个 RGB 图像重建三维房间布局

    该研究提出了一种算法，可以从单张全景图像中预测房间布局，不仅适用于全景图像和透视图像，也适用于长方体布局和更一般的布局形式，方法采用基于消失点的图像对齐，预测多个布局元素，并将结果拟合为受限制的曼哈顿布局，速度和准确率都达到了现有全景图像相关算法的较好水平，并可以处理长方体形状和更一般的曼哈顿布局。

    Mar, 2018