单目动态视角合成:现实检验
本文提出了一种新的方法,可以从动态场景的一组图像中合成任意视角和时间的图像,通过单视图深度(DSV)和多视图立体深度(DMV)的结合,重新估计视角和时间下的一致性和深度信息,从而精确的合成真实感极强的虚拟视图。
Apr, 2020
使用 Deep 3D Mask Volume 算法,基于自定义的 10 相机固定拍摄装置拍摄的 96 个高质量场景的多视角视频数据集,解决了动态场景视频视野合成中存在的一些挑战,实现了从静态相机拍摄的双目视频中的视角扩展,具有比逐帧静态视点合成方法或使用 2D 遮罩的方法更好的时间稳定性和较少的闪烁伪影,且允许更大的平移运动。
Aug, 2021
通过无监督学习方法,提出了一种基于分解动态物体运动和相机运动的动态视图合成方法,包括非监督表面一致性和基于路径的多视图约束,可实现准确的 3D 运动建模,从而提高合成质量并相比现有方法精确地生成场景流和深度
Apr, 2023
该研究提出了一种基于神经隐式表示及不可导函数的算法,能够从动态场景中的单目视频中生成任意视角和任意输入时间步长下的新视图;通过联合训练一个不变的静态 NeRF 和一个时间变化的动态 NeRF,以及使用正则化约束的方式解决了样本不足的问题,其在大量数据和质量实验效果上获得了良好的表现。
May, 2021
本文介绍了一种基于多视角几何基础的方法,旨在提高自由移动相机拍摄图像的新观点综合效果。该方法利用多视角立体匹配和单目深度信息的互补特性以及基于多重旋转平均图优化来联合优化场景深度和相机位姿,并综合聚合整个场景的特征以提高视景综合效果。本文丰富的评估表明,该方法较之现有技术提高了相当多的综合效果。
Mar, 2023
通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型,然后将知识从微调的模型提取到包含动态和静态神经辐射场(NeRF)组件的 4D 表示中,实现几何一致性并保持场景的一致性,从而进一步推进动态新视角合成。
Jan, 2024
基于现有技术,本研究建立了一种分析框架,并致力于从给定的单目视频中实现广义动态新视角合成。通过伪广义方法,改进了某些场景特定方法,尽管没有场景特定外观优化。
Oct, 2023
本文提出一种基于多平面图像(MPI)表示的新方法来合成野外照片的新视角,结合深度估计和颜色填充技术,通过多平面图像表示解决具有复杂 3D 几何的场景,使用大规模立体训练数据并经过实验验证达到最新成果。
May, 2022
DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet),它可以对任意数量的姿态图像进行处理以预测高质量的视差图,其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。
Apr, 2018