May, 2021

动态单目视频的动态视角合成

PDF
TL;DR该研究提出了一种基于神经隐式表示及不可导函数的算法，能够从动态场景中的单目视频中生成任意视角和任意输入时间步长下的新视图；通过联合训练一个不变的静态 NeRF 和一个时间变化的动态 NeRF，以及使用正则化约束的方式解决了样本不足的问题，其在大量数据和质量实验效果上获得了良好的表现。
发现论文，激发创造
  • 解耦动态单目视频以进行动态视角合成

    通过无监督学习方法，提出了一种基于分解动态物体运动和相机运动的动态视图合成方法，包括非监督表面一致性和基于路径的多视图约束，可实现准确的 3D 运动建模，从而提高合成质量并相比现有方法精确地生成场景流和深度

    Apr, 2023

  • 单目视频的动态视图合成的扩散先验

    通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型，然后将知识从微调的模型提取到包含动态和静态神经辐射场（NeRF）组件的 4D 表示中，实现几何一致性并保持场景的一致性，从而进一步推进动态新视角合成。

    Jan, 2024

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 单目视频中的广义动态新视角合成今天是否可能？

    基于现有技术，本研究建立了一种分析框架，并致力于从给定的单目视频中实现广义动态新视角合成。通过伪广义方法，改进了某些场景特定方法，尽管没有场景特定外观优化。

    Oct, 2023

  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022

  • 用神经场景流场进行动态场景的时空视图合成

    提出了一种使用神经场地理概念表示动态场景，并利用单目视频生成新视角和时间合成的方法。通过神经网络优化新的场景流场来适应观测输入视角，并在复杂动态场景中表现出较好的性能。

    Nov, 2020

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • 单目动态视角合成：现实检验

    本文研究单目视频的动态视图合成，并通过提出有效的多视图因素、新的评估指标和数据集，揭示了现有方法的不足之处，证明了缺乏多视图信息会影响动态视图合成的质量。

    Oct, 2022

  • 单目相机全局一致深度动态场景新视角合成

    本文提出了一种新的方法，可以从动态场景的一组图像中合成任意视角和时间的图像，通过单视图深度（DSV）和多视图立体深度（DMV）的结合，重新估计视角和时间下的一致性和深度信息，从而精确的合成真实感极强的虚拟视图。

    Apr, 2020

  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023