Mar, 2024

OmniLocalRF：来自动态视频的全向局部辐射场

PDF
TL;DR本文介绍了一种称为 OmniLocalRF 的新方法，能够同时渲染仅静态场景视图、删除和修补动态对象。本方法使用局部辐射场原理和全向射线的双向优化原则，以全向视频作为输入，评估前一帧和当前帧之间的相互观察。为了减少动态对象的幽灵状伪影和修复遮挡，我们设计了一个多分辨率运动蒙版预测模块，通过多分辨率神经特征平面进行精确分割，特别适用于长 360 度视频。我们的实验证实了 OmniLocalRF 在定性和定量评估指标上优于现有方法，尤其是在复杂的真实场景中。特别是，我们的方法消除了手动交互的需求，例如手动绘制运动蒙版和其他姿态估计，因此是一个高效且高效的解决方案。
omnidirectional camerasomnilocalrfdynamic objectsghosting artifactsmulti-resolution motion mask prediction
发现论文，激发创造
  • Point-DynRF: 单目视频中的基于点的动态辐射场

    通过引入点云动态辐射场（Point-DynRF）的新框架，该论文解决了动态辐射场几何一致性仅限于相邻输入帧的问题，并通过训练神经点云和动态辐射场的全局几何信息和体积渲染过程来优化辐射场和几何代理，从而相互补充。实验证明了该方法的有效性。

    Oct, 2023

  • 在 360 度世界中移动：从单个全景合成全景视差

    OmnineRF 是第一个将视差功能应用于新型全景视图合成方法，通过在不同虚拟相机位置的不同 2D 全景坐标系之间进行前后投影，从而可以优化一个全向神经辐射场并实现全向视角下固定中心的可见像素的集合，以估算来自不同相机位置的新视角的图像渲染效果。

    Jun, 2021

  • DyBluRF: 模糊单目视频中的动态神经光辐射场

    提出 DyBluRF 方法，通过在受到运动模糊的单目视频中捕捉相机轨迹和场景内物体的离散余弦变换 (DCT) 轨迹，以及采用全局跨时间渲染方法来实现生成高质量、清晰的新视角，并保持场景的时空一致性。在经过特定定制的多样化动态场景数据集上进行的实验结果表明，该方法在从运动模糊输入生成清晰的新视角并保持场景的时空一致性方面优于现有方法。

    Mar, 2024

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • VideoRF: 将动态辐射场渲染为 2D 特征视频流

    该研究论文介绍了 VideoRF，这是第一个能够在移动平台上实时流式传输和渲染动态辐射场的方法，通过使用特定的训练方案和渲染流水线，实现了在移动设备上的高效实时渲染。

    Dec, 2023

  • TöRF：用于动态场景视图合成的飞行时间辐射场

    本研究提出了一种基于连续波 ToF 相机的神经表征模型，改进了动态场景的重建质量及鲁棒性，讨论了将 RGB+ToF 传感器集成到现代智能手机上的益处和局限性。

    Sep, 2021

  • 鲁棒动态辐射场

    本研究中，我们介绍了一种新方法，通过联合估计静态和动态辐射场以及相机参数来解决使用 SfM 算法估计相机姿态时的不稳定性问题，实验证明此方法比现有的动态视图合成方法表现优异。

    Jan, 2023

  • OD-NeRF：实时动态神经辐射场的高效训练

    提出了 OD-NeRF，它可以实现动态三维场景的流式训练和渲染，并在实现帧间隐式跟踪和采样方面取得了重要进展。

    May, 2023

  • CTNeRF：来自单眼视频的动态神经辉度场的跨时间变压器

    我们的研究目标是从复杂动态场景的单目视频中生成高质量的新视图。为了解决过去方法在准确建模复杂物体运动方面的局限性，我们提出了一种新方法，结合了近期的广义 NeRF 和在时间和频率域中操作的模块，以改善动态场景的图像合成的精确度和视觉质量。

    Jan, 2024

  • 神经残留光辐射场用于流畅自由视点视频

    本文提出了一种名为 Residual Radiance Field (ReRF) 的新技术，用于高效压缩长时间动态场景的实时自由视点视频渲染，借助全局坐标小型 MLP 作为特征解码器。通过使用紧凑的运动网格以及残差特征网格来利用帧间特征相似性，我们表明这样的策略可以处理大运动而不降低质量，并且提供了一个特殊的 FVV 编解码器和一个 ReRF 播放器，支持在线流式传输长时间动态场景的 FVVs，并通过大量实验展示了 ReRF 在动态辐射场紧凑表示方面的有效性。

    Apr, 2023