ICCVSep, 2023

动态场景新视角合成的前向流

PDF
TL;DR本研究提出了一种使用前向变形的神经辐射场 (NeRF) 方法，用于动态场景的新视角合成。通过在规范空间中表示静态 NeRF，并使用学习到的反向流场将采样的 3D 点映射回规范空间以渲染其他时间步骤的动态图像。然而，这种反向流场是非平滑和不连续的，难以适应常用的平滑运动模型。为解决这个问题，我们提出估计前向流场，并直接将规范辐射场变形到其他时间步骤。这种前向流场在对象区域内平滑和连续，有助于运动模型的学习。为实现这一目标，我们使用体素网格表示规范辐射场以实现高效的前向变形，并提出了可微分的变形过程，包括平均喷涂操作和修复网络，以解决多对一和一对多映射问题。详细实验证明，我们的方法在新视角合成和运动建模方面优于现有方法，验证了我们前向流动运动建模的有效性。
neural radiance fieldnovel view synthesisdynamic scenesforward warpingmotion modeling
发现论文，激发创造
  • 神经可形变体素网格用于快速优化动态视角合成

    本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景，该方法包括两个模块，采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度，并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明，本方法在仅用 20 分钟的训练时间下，达到了与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，显示了该方法的高效性。

    Jun, 2022

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • 用于四维视图合成和视频处理的神经辐射流

    我们提出了一种称为神经辐射流（NeRFlow）的方法，可以从一组 RGB 图像中学习动态场景的 4D 时空表示，使得不需要多个相机拍摄即可实现多视角渲染，同时可用作视频处理任务的隐式场景先验。

    Dec, 2020

  • 使用神经辐射场表示场景进行视角合成

    本文介绍了一种使用深度神经网络进行视图综合和图像合成的方法，通过连续的体积场函数来优化复杂场景的视图，并在神经辐射场方面取得了最新的研究成果。

    Mar, 2020

  • 使用前向变形和深度进行实时新视角综合

    本文提出了一种名为 FWD 的新颖视角综合方法，该方法使用稀疏输入，在保持实时性的同时以高质量的合成图像为结果。通过使用显式的深度和可微分渲染，可以获得和当前最先进的方法相当的结果，速度提高了 130-1000 倍，并具有更好的感知质量。该方法可以无缝地集成传感器深度，以在保持实时速度的同时提高图像质量。本方法有望得到越来越广泛而有用的应用。

    Jun, 2022

  • 利用分布驱动神经辐射场的动态场景可分离新视角合成

    通过神经辐射场来区分整个动态场景中的背景分布并从静态背景中抽取出对象， 从而提供高质量的视图合成和 3D 解决方案。

    Jan, 2023

  • 具有时间感知的快速动态辐射场神经体素

    介绍了一种称为 TiNeuVox 的辐射场框架，通过时间感知体素特征表示场景，进一步强化了时间信息，提出了多距离插值方法，以模拟小和大的动作，加快了动态辐射场的优化，并在合成和真实场景上经过实证评估，表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。

    May, 2022

  • 单目视频的动态视图合成的扩散先验

    通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型，然后将知识从微调的模型提取到包含动态和静态神经辐射场（NeRF）组件的 4D 表示中，实现几何一致性并保持场景的一致性，从而进一步推进动态新视角合成。

    Jan, 2024

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020