Dec, 2023

NVFi：基于动态视频的三维物理学习的神经速度场

PDF
TL;DR本文旨在从多视角视频中建模 3D 场景的动态。我们提出了一种新的方法，通过仅利用视频帧学习 3D 场景的几何、外观和物理速度，从而支持多种理想的应用，包括未来帧插值、无监督的 3D 语义场景分解和动态运动传递。
3d scene dynamicsmulti-view videosgeometryappearancephysical velocity
发现论文，激发创造
  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • 用神经场景流场进行动态场景的时空视图合成

    提出了一种使用神经场地理概念表示动态场景，并利用单目视频生成新视角和时间合成的方法。通过神经网络优化新的场景流场来适应观测输入视角，并在复杂动态场景中表现出较好的性能。

    Nov, 2020

  • 具有时间感知的快速动态辐射场神经体素

    介绍了一种称为 TiNeuVox 的辐射场框架，通过时间感知体素特征表示场景，进一步强化了时间信息，提出了多距离插值方法，以模拟小和大的动作，加快了动态辐射场的优化，并在合成和真实场景上经过实证评估，表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。

    May, 2022

  • 单目视频的动态视图合成的扩散先验

    通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型，然后将知识从微调的模型提取到包含动态和静态神经辐射场（NeRF）组件的 4D 表示中，实现几何一致性并保持场景的一致性，从而进一步推进动态新视角合成。

    Jan, 2024

  • 神经可形变体素网格用于快速优化动态视角合成

    本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景，该方法包括两个模块，采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度，并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明，本方法在仅用 20 分钟的训练时间下，达到了与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，显示了该方法的高效性。

    Jun, 2022

  • 学习动态人体的神经体积表示，仅需数分钟

    本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法，通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度，实验表明该模型与传统优化方法相比，在渲染质量上有竞争力，但学习速度更快。

    Feb, 2023

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022

  • 从视频中推断混合神经流体场

    我们提出了混合神经流体场（HyFluid）的神经方法，用于联合推断流体密度和速度场，以解决流体速度的视觉模糊性和湍流性所带来的挑战，并展示了该方法在恢复涡旋流细节方面的成功，为涉及三维不可压缩流体的各种学习和重建应用打开了可能性。

    Dec, 2023

  • DynVideo-E: 大规模运动和视角变化人为中心视频编辑中的动态 NeRF 应用

    引入动态神经辐射场（NeRF）作为人物中心视频表示，将视频编辑问题简化为三维空间编辑任务，通过变形场在整个视频上进行编辑。

    Oct, 2023