ECCVAug, 2020

自由视角合成

PDF
TL;DR本文提出了一种新的方法，可以从自由分布在场景周围的输入图像中合成新视角的图像，不依赖于输入视角的规则排列，可以为场景中的自由相机运动合成图像，并适用于具有任意几何布局的通用场景，该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架，然后基于透视图创建一个代理深度图，进而利用循环编解码网络处理从附近视角重新投影的特征，并合成新视角。该网络不需要针对特定场景进行优化，通过数据集训练后，可以在之前看不到的环境中工作，本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明，表现出色，大大优于之前和同时进行的工作。
novel view synthesisfree camera movementsfmmvsrecurrent encoder-decoder network
发现论文，激发创造
  • 增强稳定视角合成

    本文介绍了一种基于多视角几何基础的方法，旨在提高自由移动相机拍摄图像的新观点综合效果。该方法利用多视角立体匹配和单目深度信息的互补特性以及基于多重旋转平均图优化来联合优化场景深度和相机位姿，并综合聚合整个场景的特征以提高视景综合效果。本文丰富的评估表明，该方法较之现有技术提高了相当多的综合效果。

    Mar, 2023

  • 语义视图合成

    本文介绍了一种新的语义视图综合问题，通过使用语义标签图作为输入生成合成场景的自由视角渲染，在现有图像 / 视图综合方法的基础上，提出了一个两步方法，第一步合成可见表面的颜色和深度，第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响，该方法在室内外场景中得到了良好的效果。

    Aug, 2020

  • 稳定视角合成

    该研究提出了一种名为 Stable View Synthesis（SVS）的方法，利用结构从运动和多视角立体技术生成几何脚手架，并通过处理每个点的方向特征向量合成新的特征，再用卷积网络从合成的特征张量中渲染出目标图像，实现获取展示场景并进行合成视图的能力，并在三个不同世界数据集上得到了优异的性能表现。

    Nov, 2020

  • 从单张图像中无监督生成新视角

    本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

    Feb, 2021

  • 生成视角合成：从单视角语义到新视角图像

    本文提出一种叫做 GVS 的方法，可基于输入的语义地图，综合出多个真实感的场景视角，还可进行风格操作和图像编辑操作，如通过简单处理输入的风格图像和语义映射来添加或删除对象等。

    Aug, 2020

  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • 多视角立体下的自由视点室内神经光照重构

    利用卷积神经网络构建的光照算法，可以实时改变室内场景的光照，并保持了物体的阴影和光泽材质，从而实现自由视点浏览。

    Jun, 2021

  • 基于单目神经网络的连续视角控制图像渲染

    本文提出了一个自监督学习的方法，通过深度引导的调整过程，利用变换自编码器的网络结构，在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角，并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估，证明了该方法的广泛适用性。

    Jan, 2019

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018