Jan, 2024

CTNeRF：来自单眼视频的动态神经辉度场的跨时间变压器

PDF
TL;DR我们的研究目标是从复杂动态场景的单目视频中生成高质量的新视图。为了解决过去方法在准确建模复杂物体运动方面的局限性，我们提出了一种新方法，结合了近期的广义 NeRF 和在时间和频率域中操作的模块，以改善动态场景的图像合成的精确度和视觉质量。
high-qualitynovel viewsmonocular videoscomplex objectsdynamic scenes
发现论文，激发创造
  • DyBluRF: 模糊单目视频中的动态神经光辐射场

    提出 DyBluRF 方法，通过在受到运动模糊的单目视频中捕捉相机轨迹和场景内物体的离散余弦变换 (DCT) 轨迹，以及采用全局跨时间渲染方法来实现生成高质量、清晰的新视角，并保持场景的时空一致性。在经过特定定制的多样化动态场景数据集上进行的实验结果表明，该方法在从运动模糊输入生成清晰的新视角并保持场景的时空一致性方面优于现有方法。

    Mar, 2024

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • 神经轨迹场用于动态新视角合成

    本论文提出了 DCT-NeRF，一种基于坐标的神经表示方法，用于动态场景的高质量重建，它学习空间中每个点的平稳和稳定轨迹，并强制执行序列中任意两帧之间的一致性。

    May, 2021

  • 基于时间变化表示和动态神经辐射场的追踪和建图

    本研究提出了一种时间变化的表示方法，用于跟踪和重建动态场景，并使用动态选择策略的神经辐射场结合同时定位和建图框架，实现了更有效的动态建图方法。

    Oct, 2023

  • 来自非约束图像集的新视角合成的 Cross-Ray 神经辐射场

    本文提出了一种名为 Cross-Ray NeRF 的方法，通过利用交互信息合成视野，在处理过场景图像时能有效地减少遮挡和幽灵物体等问题。

    Jul, 2023

  • 具有时间感知的快速动态辐射场神经体素

    介绍了一种称为 TiNeuVox 的辐射场框架，通过时间感知体素特征表示场景，进一步强化了时间信息，提出了多距离插值方法，以模拟小和大的动作，加快了动态辐射场的优化，并在合成和真实场景上经过实证评估，表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。

    May, 2022

  • OD-NeRF：实时动态神经辐射场的高效训练

    提出了 OD-NeRF，它可以实现动态三维场景的流式训练和渲染，并在实现帧间隐式跟踪和采样方面取得了重要进展。

    May, 2023

  • 动态高光物体的神经辐射场（NeRF-DS）

    本文提出了一种基于动态神经辐射场的算法，通过表面的位置和朝向在观测空间中进行条件化，像素的渲染基于不同姿态下的表面反射的颜色来实现遮挡的效果，有效地改善了单目 RGB 视频中移动高光物体的重建质量。

    Mar, 2023

  • 神经可形变体素网格用于快速优化动态视角合成

    本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景，该方法包括两个模块，采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度，并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明，本方法在仅用 20 分钟的训练时间下，达到了与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，显示了该方法的高效性。

    Jun, 2022