语义视图合成
本文提出一种叫做 GVS 的方法,可基于输入的语义地图,综合出多个真实感的场景视角,还可进行风格操作和图像编辑操作,如通过简单处理输入的风格图像和语义映射来添加或删除对象等。
Aug, 2020
该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法,使用视图合成作为代理任务来弥补直接监督缺失的不足,并展示了其在两种不同场景下的定性和定量验证结果。
Jul, 2018
本文提出了一种新的方法,可以从自由分布在场景周围的输入图像中合成新视角的图像,不依赖于输入视角的规则排列,可以为场景中的自由相机运动合成图像,并适用于具有任意几何布局的通用场景,该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架,然后基于透视图创建一个代理深度图,进而利用循环编解码网络处理从附近视角重新投影的特征,并合成新视角。该网络不需要针对特定场景进行优化,通过数据集训练后,可以在之前看不到的环境中工作,本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明,表现出色,大大优于之前和同时进行的工作。
Aug, 2020
利用多平面图像 (MPI),采用基于梯度下降的学习方法,使用来自一组稀疏摄像机视角的图像,实现视点合成,并具有遮挡理解功能,在具有高深度复杂性的场景中,改进了物体边界、光反射和薄结构等具有挑战性的场景特点,并且在我们提供的 Kalantari 光场数据集和全新的 Spaces 相机阵列数据集上均获得了高质量的最新成果。
Jun, 2019
本文提出一种基于多平面图像(MPI)表示的新方法来合成野外照片的新视角,结合深度估计和颜色填充技术,通过多平面图像表示解决具有复杂 3D 几何的场景,使用大规模立体训练数据并经过实验验证达到最新成果。
May, 2022
研究如何从 1 或多张图像中合成逼真的室内 3D 场景,采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像,及在 VLN 训练中进行空间干扰以提高成功率。
Apr, 2022
本文提出了一种使用真实图像来训练、无需 3D 场景真值信息,通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像,并通过细化网络解码来填补缺失区域的新型端到端模型,在测试时可以对潜在特征空间进行可解释的操作,可以生成高分辨率图像并推广到其他输入分辨率,将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。
Dec, 2019
本文介绍了一种基于多视角几何基础的方法,旨在提高自由移动相机拍摄图像的新观点综合效果。该方法利用多视角立体匹配和单目深度信息的互补特性以及基于多重旋转平均图优化来联合优化场景深度和相机位姿,并综合聚合整个场景的特征以提高视景综合效果。本文丰富的评估表明,该方法较之现有技术提高了相当多的综合效果。
Mar, 2023
本文提出了一种利用在线视频数据来学习视角外推的新方法,通过将输入的立体图像对转化为 “多层图像”,再利用深度学习网络来生成视角外推的图像,实现了将狭窄基线的立体图像进行放大的功能。
May, 2018
本文研究了从稀疏源观测中合成新视角的问题,提出了一种简单而有效的方法,通过将观测编码到体积表示中进行摊销渲染,并通过自我监督信号实现了对 3D 几何的有效学习。
Jul, 2021