用于实际三维摄影的平铺多平面图像
本文提出了一种称为 S-MPI 的新型多平面图像表示,这种表示可以有效地完成利用稀疏数据进行的视图合成任务,同时可以代表三维场景,本文使用基于转换器的网络处理 S-MPI 描述的数据,通过共享全局代理嵌入来保证多视图一致性,并且在包含多个局部和全局一致性指导的数据驱动方程中优化 S-MPI. 大量实验表明,S-MPI 在视图合成方面优于现有 MPI-based 方法和平面重建方法。
Mar, 2023
本文提出一种基于多平面图像(MPI)表示的新方法来合成野外照片的新视角,结合深度估计和颜色填充技术,通过多平面图像表示解决具有复杂 3D 几何的场景,使用大规模立体训练数据并经过实验验证达到最新成果。
May, 2022
本文提出了一种新的基于时间的多平面图像(Temporal-MPI)动态场景表示方法,它能够以紧凑的时间基和系数来编码整个视频的丰富 3D 和动态变化信息,并通过 Temporal-MPI 实时高质量地生成任意时刻的新视角。我们的方法在 Nvidia 动态场景数据集上进行训练和评估,证明了其比其他最先进的动态场景建模方法更快速更紧凑。
Nov, 2021
提出了 SinMPI 方法,通过扩展的多平面图像作为 3D 场景表示,使用稳定扩散生成超出视野内容并优化多平面图像,从而显著扩展了透视范围,生成高质量的新视图图像。
Dec, 2023
基于改进的多平面图像(MPI),本文介绍了一种适应场景的分层多平面图像表示,用于从单幅图像合成新视角,观察到对于无界户外场景,深度分布变化显著,因此采用自适应分组策略来排列平面,进一步引入了分层细化分支,以呈现精细的几何和多尺度细节,该方法在 KITTI 数据集上合成大规模无界户外场景并具有显著的性能提升,在未见过的 Tanks and Temples 数据集上具有较好的泛化性能,代码和模型将公开。
Sep, 2023
本文提出了一种基于多平面图像(MPI)的神经辐射场的灵活表示方法,用于复杂场景的高质量视图合成。通过多平面图像的参数化和自适应混合操作,实现了对复杂场景下各种视角和摄像机分布的高质量图像合成和长轨迹编码,从而在新视角合成方面超越了快速训练的方法,展示了在自动驾驶等应用中的潜力。
Sep, 2023
该论文探讨了使用极窄基线对图像进行视角合成的问题,并着重于生成带有合理深度间隙的高质量视角推断,提出了一种理论分析显示 MPI 的视角范围如何随着 MPI 视差采样频率的增加而线性增加,并提出一种 MPI 预测程序,理论上使视角推断的范围扩展了至少 4 倍。
May, 2019
利用多平面图像 (MPI),采用基于梯度下降的学习方法,使用来自一组稀疏摄像机视角的图像,实现视点合成,并具有遮挡理解功能,在具有高深度复杂性的场景中,改进了物体边界、光反射和薄结构等具有挑战性的场景特点,并且在我们提供的 Kalantari 光场数据集和全新的 Spaces 相机阵列数据集上均获得了高质量的最新成果。
Jun, 2019
本文提出了一种利用在线视频数据来学习视角外推的新方法,通过将输入的立体图像对转化为 “多层图像”,再利用深度学习网络来生成视角外推的图像,实现了将狭窄基线的立体图像进行放大的功能。
May, 2018
通过生成高度逼真的实际光流数据集,利用多平面图像构造新图像和准确对应的光流地图,以及独立的物体运动模块和深度感知修复模块,该研究论文在光流估计中取得了最先进的性能。
Sep, 2023