单目相机全局一致深度动态场景新视角合成

CVPRApr, 2020

单目相机全局一致深度动态场景新视角合成

Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths from a Monocular Camera

Jae Shin Yoon, Kihwan Kim, Orazio Gallo, Hyun Soo Park, Jan Kautz

TL;DR本文提出了一种新的方法，可以从动态场景的一组图像中合成任意视角和时间的图像，通过单视图深度（DSV）和多视图立体深度（DMV）的结合，重新估计视角和时间下的一致性和深度信息，从而精确的合成真实感极强的虚拟视图。

Abstract

This paper presents a new method to synthesize an image from arbitrary views and times given a collection of images of a dynamic scene. A key challenge for the novel view synthesis arises from dynamic scene reconstructi

novel view synthesis dynamic scene reconstruction depth fusion network self-supervised learning photorealistic virtual view

发现论文，激发创造

增强稳定视角合成

本文介绍了一种基于多视角几何基础的方法，旨在提高自由移动相机拍摄图像的新观点综合效果。该方法利用多视角立体匹配和单目深度信息的互补特性以及基于多重旋转平均图优化来联合优化场景深度和相机位姿，并综合聚合整个场景的特征以提高视景综合效果。本文丰富的评估表明，该方法较之现有技术提高了相当多的综合效果。

Mar, 2023

基于深度 3D 掩模体的动态场景视图合成

使用 Deep 3D Mask Volume 算法，基于自定义的 10 相机固定拍摄装置拍摄的 96 个高质量场景的多视角视频数据集，解决了动态场景视频视野合成中存在的一些挑战，实现了从静态相机拍摄的双目视频中的视角扩展，具有比逐帧静态视点合成方法或使用 2D 遮罩的方法更好的时间稳定性和较少的闪烁伪影，且允许更大的平移运动。

Aug, 2021

单目视频中的广义动态新视角合成今天是否可能？

基于现有技术，本研究建立了一种分析框架，并致力于从给定的单目视频中实现广义动态新视角合成。通过伪广义方法，改进了某些场景特定方法，尽管没有场景特定外观优化。

Oct, 2023

单目动态视角合成：现实检验

本文研究单目视频的动态视图合成，并通过提出有效的多视图因素、新的评估指标和数据集，揭示了现有方法的不足之处，证明了缺乏多视图信息会影响动态视图合成的质量。

Oct, 2022

单图像新视角合成的深度自监督

通过联合优化图像生成和深度估计的框架，我们的方法在无视角预测的任务上取得了较高的生成图像质量和更准确的目标视角深度。

Aug, 2023

解耦动态单目视频以进行动态视角合成

通过无监督学习方法，提出了一种基于分解动态物体运动和相机运动的动态视图合成方法，包括非监督表面一致性和基于路径的多视图约束，可实现准确的 3D 运动建模，从而提高合成质量并相比现有方法精确地生成场景流和深度