本文提出一种基于多平面图像(MPI)表示的新方法来合成野外照片的新视角,结合深度估计和颜色填充技术,通过多平面图像表示解决具有复杂 3D 几何的场景,使用大规模立体训练数据并经过实验验证达到最新成果。
May, 2022
利用多平面图像 (MPI),采用基于梯度下降的学习方法,使用来自一组稀疏摄像机视角的图像,实现视点合成,并具有遮挡理解功能,在具有高深度复杂性的场景中,改进了物体边界、光反射和薄结构等具有挑战性的场景特点,并且在我们提供的 Kalantari 光场数据集和全新的 Spaces 相机阵列数据集上均获得了高质量的最新成果。
Jun, 2019
该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法,使用视图合成作为代理任务来弥补直接监督缺失的不足,并展示了其在两种不同场景下的定性和定量验证结果。
Jul, 2018
本文提出了一种使用真实图像来训练、无需 3D 场景真值信息,通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像,并通过细化网络解码来填补缺失区域的新型端到端模型,在测试时可以对潜在特征空间进行可解释的操作,可以生成高分辨率图像并推广到其他输入分辨率,将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。
Dec, 2019
本文提出了一种利用在线视频数据来学习视角外推的新方法,通过将输入的立体图像对转化为 “多层图像”,再利用深度学习网络来生成视角外推的图像,实现了将狭窄基线的立体图像进行放大的功能。
May, 2018
本文提出了一种利用场景 3D 几何信息进行新视角生成的方法,通过学习区域感知几何转换网络实现输入图像到目标视角的变换,并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。
Apr, 2018
提出了 SinMPI 方法,通过扩展的多平面图像作为 3D 场景表示,使用稳定扩散生成超出视野内容并优化多平面图像,从而显著扩展了透视范围,生成高质量的新视图图像。
Dec, 2023
使用可微分渲染和 3D 推理相结合的自回归建模方法,实现了单幅图像的大视角高度一致性生成,比其他方法在视图生成和 3D 一致性方面具有显著的改进。
Aug, 2021
本论文研究的问题是如何从给定的输入图像中合成出相同物体或场景在任意视角下的新图像。解决方案是通过卷积神经网络学习出现象的外在特征,从而实现像素重构,同时可以扩展到多个输入视图的合成。实验结果表明,该方法在合成出高品质图像方面的性能比之前基于 CNN 的技术更为优异。
May, 2016
本文提出一种叫做 GVS 的方法,可基于输入的语义地图,综合出多个真实感的场景视角,还可进行风格操作和图像编辑操作,如通过简单处理输入的风格图像和语义映射来添加或删除对象等。
Aug, 2020