增强稳定视角合成
该研究提出了一种名为 Stable View Synthesis(SVS)的方法,利用结构从运动和多视角立体技术生成几何脚手架,并通过处理每个点的方向特征向量合成新的特征,再用卷积网络从合成的特征张量中渲染出目标图像,实现获取展示场景并进行合成视图的能力,并在三个不同世界数据集上得到了优异的性能表现。
Nov, 2020
本文提出了一种新的方法,可以从自由分布在场景周围的输入图像中合成新视角的图像,不依赖于输入视角的规则排列,可以为场景中的自由相机运动合成图像,并适用于具有任意几何布局的通用场景,该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架,然后基于透视图创建一个代理深度图,进而利用循环编解码网络处理从附近视角重新投影的特征,并合成新视角。该网络不需要针对特定场景进行优化,通过数据集训练后,可以在之前看不到的环境中工作,本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明,表现出色,大大优于之前和同时进行的工作。
Aug, 2020
本文提出了一种新的方法,可以从动态场景的一组图像中合成任意视角和时间的图像,通过单视图深度(DSV)和多视图立体深度(DMV)的结合,重新估计视角和时间下的一致性和深度信息,从而精确的合成真实感极强的虚拟视图。
Apr, 2020
本文提出了一种从单个 RGBD 输入合成新视角图像的方法,通过利用 RGBD 图像中嵌入的深度信息,将 NVS 任务转换成图像转换问题,并使用生成对抗网络实现类似于从新视角拍摄的照片的结果,而不受传统多图像技术的限制。
Nov, 2023
提出了一种针对多视点立体相机图像的第一种通用视角合成方法,该方法引入了立体匹配以实现高质量的几何重建。该方法包括三个关键组件:立体特征提取器、深度引导的平面扫描和立体深度损失,并提出了第一个多视点数据集 StereoNVS,实验证明该方法优于以前的方法。
Apr, 2024
本文提出了一种新型网络,利用少量稀疏图像输入,能够恢复三维场景几何信息和高分辨率彩色图像,并通过粗略到精细的球形追踪技术可以大幅提高速度,方法在多个数据集中都取得了可比较的精度。
Aug, 2021
本文首先考虑了单张基于图像的新视图合成(NVS)问题中的视角相关效果。为此,我们提出利用 NVS 中的相机运动先验来建模视角相关的外观或效果(VDE),即场景中的负视差。通过识别光斑 “跟随” 相机运动,我们通过在极线的负深度区域上聚合输入像素颜色来融入 VDE。同时,我们提出了一种 “放宽的体积渲染” 近似方法,可以在单次遍历中计算密度,提高了从单张图像进行 NVS 的效率。我们的方法只需从图像序列中学习单张图像 NVS,这是一种完全自我监督学习方法,首次无需深度或相机姿态注释。我们展示了广泛的实验证明,我们的方法可以学习具有 VDE 的 NVS,在 RealEstate10k 和 MannequinChallenge 数据集上优于 SOTA 的单视角 NVS 方法。
Dec, 2023
通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术,本论文提出了一个增强型的多视角立体重建框架,显著提高了传统方法的准确性和精度,在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性,对于实时处理和可扩展性要求高的情况,可以与当前最先进的神经隐式场方法相竞争甚至超越。
Jun, 2024
本文提出一种叫做 GVS 的方法,可基于输入的语义地图,综合出多个真实感的场景视角,还可进行风格操作和图像编辑操作,如通过简单处理输入的风格图像和语义映射来添加或删除对象等。
Aug, 2020
本文介绍了一种新的语义视图综合问题,通过使用语义标签图作为输入生成合成场景的自由视角渲染,在现有图像 / 视图综合方法的基础上,提出了一个两步方法,第一步合成可见表面的颜色和深度,第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响,该方法在室内外场景中得到了良好的效果。
Aug, 2020