在野外应用学习的自适应多面板图像进行单视图合成
该论文利用深度学习技术对单张图片进行多平面图像生成,应用于视图合成问题中,并将 scale-invariant 视图合成应用于监督训练,在在线视频上进行训练。该方法适用于多个数据集,可以生成合理的深度图,并且可以学习填充前景物体背后的内容。
Apr, 2020
利用多平面图像 (MPI),采用基于梯度下降的学习方法,使用来自一组稀疏摄像机视角的图像,实现视点合成,并具有遮挡理解功能,在具有高深度复杂性的场景中,改进了物体边界、光反射和薄结构等具有挑战性的场景特点,并且在我们提供的 Kalantari 光场数据集和全新的 Spaces 相机阵列数据集上均获得了高质量的最新成果。
Jun, 2019
提出了 SinMPI 方法,通过扩展的多平面图像作为 3D 场景表示,使用稳定扩散生成超出视野内容并优化多平面图像,从而显著扩展了透视范围,生成高质量的新视图图像。
Dec, 2023
基于改进的多平面图像(MPI),本文介绍了一种适应场景的分层多平面图像表示,用于从单幅图像合成新视角,观察到对于无界户外场景,深度分布变化显著,因此采用自适应分组策略来排列平面,进一步引入了分层细化分支,以呈现精细的几何和多尺度细节,该方法在 KITTI 数据集上合成大规模无界户外场景并具有显著的性能提升,在未见过的 Tanks and Temples 数据集上具有较好的泛化性能,代码和模型将公开。
Sep, 2023
该论文探讨了使用极窄基线对图像进行视角合成的问题,并着重于生成带有合理深度间隙的高质量视角推断,提出了一种理论分析显示 MPI 的视角范围如何随着 MPI 视差采样频率的增加而线性增加,并提出一种 MPI 预测程序,理论上使视角推断的范围扩展了至少 4 倍。
May, 2019
本文提出了一种利用在线视频数据来学习视角外推的新方法,通过将输入的立体图像对转化为 “多层图像”,再利用深度学习网络来生成视角外推的图像,实现了将狭窄基线的立体图像进行放大的功能。
May, 2018
本文介绍了第一种基于三维场景表示的多帧去噪方法,扩展了多平面图像 (MPI) 框架用于新视角合成,最终实现了视角合成、多帧去噪和在嘈杂条件下的视角合成。
Mar, 2023
本文提出了一种利用场景 3D 几何信息进行新视角生成的方法,通过学习区域感知几何转换网络实现输入图像到目标视角的变换,并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。
Apr, 2018
本文提出了一种称为 S-MPI 的新型多平面图像表示,这种表示可以有效地完成利用稀疏数据进行的视图合成任务,同时可以代表三维场景,本文使用基于转换器的网络处理 S-MPI 描述的数据,通过共享全局代理嵌入来保证多视图一致性,并且在包含多个局部和全局一致性指导的数据驱动方程中优化 S-MPI. 大量实验表明,S-MPI 在视图合成方面优于现有 MPI-based 方法和平面重建方法。
Mar, 2023