立体放大:使用多平面图像学习视图合成
该论文探讨了使用极窄基线对图像进行视角合成的问题,并着重于生成带有合理深度间隙的高质量视角推断,提出了一种理论分析显示 MPI 的视角范围如何随着 MPI 视差采样频率的增加而线性增加,并提出一种 MPI 预测程序,理论上使视角推断的范围扩展了至少 4 倍。
May, 2019
本文提出一种基于多平面图像(MPI)表示的新方法来合成野外照片的新视角,结合深度估计和颜色填充技术,通过多平面图像表示解决具有复杂 3D 几何的场景,使用大规模立体训练数据并经过实验验证达到最新成果。
May, 2022
利用多平面图像 (MPI),采用基于梯度下降的学习方法,使用来自一组稀疏摄像机视角的图像,实现视点合成,并具有遮挡理解功能,在具有高深度复杂性的场景中,改进了物体边界、光反射和薄结构等具有挑战性的场景特点,并且在我们提供的 Kalantari 光场数据集和全新的 Spaces 相机阵列数据集上均获得了高质量的最新成果。
Jun, 2019
该论文利用深度学习技术对单张图片进行多平面图像生成,应用于视图合成问题中,并将 scale-invariant 视图合成应用于监督训练,在在线视频上进行训练。该方法适用于多个数据集,可以生成合理的深度图,并且可以学习填充前景物体背后的内容。
Apr, 2020
提出了 SinMPI 方法,通过扩展的多平面图像作为 3D 场景表示,使用稳定扩散生成超出视野内容并优化多平面图像,从而显著扩展了透视范围,生成高质量的新视图图像。
Dec, 2023
该论文提出了一种基于多个半透明图层和场景适应几何的视图合成方法,可以从立体对中推断几何,颜色和透明度值,通过可微分的渲染器进行训练,并展示了其在渲染速度和渲染效果等方面优于传统方法和基于隐式几何表示的 IBRNet 系统。
Jan, 2022
本文介绍了一种新的语义视图综合问题,通过使用语义标签图作为输入生成合成场景的自由视角渲染,在现有图像 / 视图综合方法的基础上,提出了一个两步方法,第一步合成可见表面的颜色和深度,第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响,该方法在室内外场景中得到了良好的效果。
Aug, 2020
本文提出了一种名为 Extreme View Synthesis 的新方法,解决了新视角外推中存在数量有限的输入图像时的问题,并通过深度概率体积、基于深度的配准和图像先验等方法,成功地在镜头基线放大至 30 倍的情况下实现了视觉效果优化。
Dec, 2018
介绍了一种用于单个广角立体图像对的新视角合成的方法,包括 3D 场景重构和外观变化的先验模型,提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器,通过大规模实际数据集的训练,证明了模型学习到了强大的多视角几何先验,大大缩短了渲染时间,并在两个实际数据集上得到了显著的优越性能。
Apr, 2023