本文提出了一种从单个 RGBD 输入合成新视角图像的方法,通过利用 RGBD 图像中嵌入的深度信息,将 NVS 任务转换成图像转换问题,并使用生成对抗网络实现类似于从新视角拍摄的照片的结果,而不受传统多图像技术的限制。
Nov, 2023
多任务视觉学习的创新问题设置,将多任务预测重新解释为多个新视角综合任务,使用 MuvieNeRF 框架同时综合多个场景属性,通过 Cross-Task Attention 和 Cross-View Attention 模块实现对多个视角和任务的高效信息利用。
Sep, 2023
提出了 MVSNeRF,这是一种新颖的神经渲染方法,可以通过快速网络推理从仅三个附近输入视图重建辐射场,利用平面扫描代价体进行几何感知场景推理,并将其与基于物理的体积渲染相结合,能够横跨场景(甚至是室内场景)泛化,并仅使用三个输入图像生成逼真的视图合成结果,比类似工作在可推广的辐射场重建方面表现显著优越。
Mar, 2021
本文提出了一种名为 FWD 的新颖视角综合方法,该方法使用稀疏输入,在保持实时性的同时以高质量的合成图像为结果。通过使用显式的深度和可微分渲染,可以获得和当前最先进的方法相当的结果,速度提高了 130-1000 倍,并具有更好的感知质量。该方法可以无缝地集成传感器深度,以在保持实时速度的同时提高图像质量。本方法有望得到越来越广泛而有用的应用。
Jun, 2022
DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet),它可以对任意数量的姿态图像进行处理以预测高质量的视差图,其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。
Apr, 2018
提出了一种针对多视点立体相机图像的第一种通用视角合成方法,该方法引入了立体匹配以实现高质量的几何重建。该方法包括三个关键组件:立体特征提取器、深度引导的平面扫描和立体深度损失,并提出了第一个多视点数据集 StereoNVS,实验证明该方法优于以前的方法。
Apr, 2024
本文提出了一种端到端的新视角合成框架,包括构建目标视角下的体积以及设计源视角的可见性估计模块和软射线投影机制,最终在端到端的自监督训练方式下,相较于现有方法提高了新视角的合成质量。
我们提出了两种新的输入处理范例来对基于分层场景表示的新视角综合(NVS)方法进行改进,极大地提高了其运行时速度而不损失质量,实现了实时应用。
Dec, 2023
通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术,本论文提出了一个增强型的多视角立体重建框架,显著提高了传统方法的准确性和精度,在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性,对于实时处理和可扩展性要求高的情况,可以与当前最先进的神经隐式场方法相竞争甚至超越。
Jun, 2024
本文介绍了一种基于多视角几何基础的方法,旨在提高自由移动相机拍摄图像的新观点综合效果。该方法利用多视角立体匹配和单目深度信息的互补特性以及基于多重旋转平均图优化来联合优化场景深度和相机位姿,并综合聚合整个场景的特征以提高视景综合效果。本文丰富的评估表明,该方法较之现有技术提高了相当多的综合效果。
Mar, 2023