Nov, 2020

自由视点视频的时空神经辐照场

PDF
TL;DR该研究提出了一种从单个视频学习动态场景的时空神经辐射场的方法，能实现自由视角渲染输入视频。该学习方法建立在最近关于内隐表示的进展之上，利用视频深度估计方法的场景深度来约束我们的动态场景表示的时变几何，将单个帧中内容聚合为一个全局表示，并提供了广泛的定量评估和引人注目的自由视点渲染结果。
spatiotemporal neural irradiance fieldimplicit representationsfree-viewpoint renderingscene depth estimationdynamic scene representation
发现论文，激发创造
  • 高效神经辐射场用于交互式自由视点视频

    本文提出了一种名为 ENeRF 的场景表示，用于快速创建交互式自由视点视频，并实现了深度预测和辐射场网络的联合学习，通过针对场景表面附近的点进行采样，从而显著提高了渲染速度。在多个基准测试中进行实验，结果表明我们的方法在表现上具有竞争力，同时比先前的泛化辐射场方法快至少 60 倍。

    Dec, 2021

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • 用神经场景流场进行动态场景的时空视图合成

    提出了一种使用神经场地理概念表示动态场景，并利用单目视频生成新视角和时间合成的方法。通过神经网络优化新的场景流场来适应观测输入视角，并在复杂动态场景中表现出较好的性能。

    Nov, 2020

  • 门控场景学习：从门控视频中学习场景重建

    通过利用时间观察重建室外三维场景是一个具有挑战性的问题，本文介绍了一种利用神经场的新方法 - Gated Fields，它结合了主动门控视频序列和光照，在各种环境光照条件下实现了精确且密集的几何重建。

    May, 2024

  • 用于四维视图合成和视频处理的神经辐射流

    我们提出了一种称为神经辐射流（NeRFlow）的方法，可以从一组 RGB 图像中学习动态场景的 4D 时空表示，使得不需要多个相机拍摄即可实现多视角渲染，同时可用作视频处理任务的隐式场景先验。

    Dec, 2020

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 使用分层神经表示的可编辑自由视角视频

    本文提出了一种可编辑的逼真的自由视角视频生成方法，通过使用只有 16 个稀疏摄像头，将大规模动态场景中的每个动态实体表示为连续函数，并采用新的分层神经表示方法进行支持感知和逼真操作，并提出使用场景解析 4D 标签地图追踪和连续变形模块隐式分离时间运动，同时采用面向对象的体积渲染方案进行了再组装所有神经层，并采用新颖的分层损失和运动感知射线采样策略，实现了大规模动态场景的高效训练，并支持各种编辑功能，显示了该方法生成高质量的可编辑的自由视角视频。

    Apr, 2021

  • 3D 视频合成的流式辐射场

    通过增量学习范式，结合基础模型和逐帧模型差异调节策略，采用窄带技术和基于模型差异的压缩方法，实现高效的流式辐射场实时渲染，训练时间为每帧 15 秒，性能比其它隐式方法快 1000 倍。

    Oct, 2022

  • 快速明确的神经视图合成

    本文研究了从稀疏源观测中合成新视角的问题，提出了一种简单而有效的方法，通过将观测编码到体积表示中进行摊销渲染，并通过自我监督信号实现了对 3D 几何的有效学习。

    Jul, 2021

  • 物理学知识指导的神经场方法用于稀疏数据下的烟雾重建

    本文提出了一种方法，通过利用流体的 Navier-Stokes 方程作为答案进行稀疏视频的端到端优化，实现通过 RGB 视频的高保真流体重构。

    Jun, 2022