Apr, 2023

解耦动态单目视频以进行动态视角合成

PDF
TL;DR通过无监督学习方法，提出了一种基于分解动态物体运动和相机运动的动态视图合成方法，包括非监督表面一致性和基于路径的多视图约束，可实现准确的 3D 运动建模，从而提高合成质量并相比现有方法精确地生成场景流和深度
dynamic view synthesismonocular videosunsupervised learning3d motion modelingnovel view generation
发现论文，激发创造
  • 动态单目视频的动态视角合成

    该研究提出了一种基于神经隐式表示及不可导函数的算法，能够从动态场景中的单目视频中生成任意视角和任意输入时间步长下的新视图；通过联合训练一个不变的静态 NeRF 和一个时间变化的动态 NeRF，以及使用正则化约束的方式解决了样本不足的问题，其在大量数据和质量实验效果上获得了良好的表现。

    May, 2021

  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020

  • 单目视频的动态视图合成的扩散先验

    通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型，然后将知识从微调的模型提取到包含动态和静态神经辐射场（NeRF）组件的 4D 表示中，实现几何一致性并保持场景的一致性，从而进一步推进动态新视角合成。

    Jan, 2024

  • DreamScene4D: 从单目视频生成动态多物体场景

    DreamScene4D 是一种能够从野外单眼视频中生成多个物体的三维动态场景的方法，通过设计 “分解 - 重组” 方案，将视频场景及每个物体的三维运动进行分解，并使用开放词汇遮罩跟踪和适应性图像扩散模型对视频中的物体和背景进行分割、追踪和完整修复。

    May, 2024

  • 单目动态视角合成：现实检验

    本文研究单目视频的动态视图合成，并通过提出有效的多视图因素、新的评估指标和数据集，揭示了现有方法的不足之处，证明了缺乏多视图信息会影响动态视图合成的质量。

    Oct, 2022

  • 单目相机全局一致深度动态场景新视角合成

    本文提出了一种新的方法，可以从动态场景的一组图像中合成任意视角和时间的图像，通过单视图深度（DSV）和多视图立体深度（DMV）的结合，重新估计视角和时间下的一致性和深度信息，从而精确的合成真实感极强的虚拟视图。

    Apr, 2020

  • 单目视频中的广义动态新视角合成今天是否可能？

    基于现有技术，本研究建立了一种分析框架，并致力于从给定的单目视频中实现广义动态新视角合成。通过伪广义方法，改进了某些场景特定方法，尽管没有场景特定外观优化。

    Oct, 2023

  • 自由视角合成

    本文提出了一种新的方法，可以从自由分布在场景周围的输入图像中合成新视角的图像，不依赖于输入视角的规则排列，可以为场景中的自由相机运动合成图像，并适用于具有任意几何布局的通用场景，该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架，然后基于透视图创建一个代理深度图，进而利用循环编解码网络处理从附近视角重新投影的特征，并合成新视角。该网络不需要针对特定场景进行优化，通过数据集训练后，可以在之前看不到的环境中工作，本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明，表现出色，大大优于之前和同时进行的工作。

    Aug, 2020

  • 生成式摄像镜头推车：极端单目动态新视角合成

    提出了一种利用大规模扩散先验的可控单眼动态视图合成管道，通过给定任何场景的视频，根据一组相对相机姿态参数，从任意其他选定的视角生成同步视频。

    May, 2024

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023