Dec, 2020

单目视频下动态场景的非刚性神经辐射场重建和新视角合成

PDF
TL;DR该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。
non-rigid neural radiance fieldsdynamic scenesrenderingsray bendingrigidity network
发现论文，激发创造
  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • 神经可形变体素网格用于快速优化动态视角合成

    本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景，该方法包括两个模块，采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度，并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明，本方法在仅用 20 分钟的训练时间下，达到了与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，显示了该方法的高效性。

    Jun, 2022

  • Nerfies: 可变形神经辐射场

    描述了一种基于神经辐射场的方法，通过优化连续的体形变场使移动设备拍摄的照片 / 视频重建变形场景，旨在生成高度逼真的渲染图像。实验表明，该方法可使用手机拍摄的自拍照片 / 视频转换成可变形的 NeRF 模型，并在任意视点产生高保真度的视图。

    Nov, 2020

  • 神经辐射场场景重建探索：合成、真实世界和动态场景

    该论文主要研究使用神经辐射场（NeRF）方法对合成和真实场景进行 3D 重建，包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中，还着重探讨了神经辐射场（D-NeRF）对动态场景重建的应用，并成功将其推广至真实世界动态场景。

    Oct, 2022

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021

  • NeVRF：用于长时序列的神经视频辐射场

    NeVRF 利用神经辐射场与基于图像的渲染相结合，通过引入新颖的多视图辐射混合方法从多视图视频中直接预测辐射，实现对长时间动态内视场景的逼真新视点合成。通过利用连续学习技术，NeVRF 能够高效重构顺序数据的帧，不需要重新访问先前的帧，从而实现长时间自由视点视频。此外，通过一种量身定制的压缩方法，NeVRF 能够紧凑地表示动态场景，在实际应用中使动态辐射场更加实用。我们的实验证明了 NeVRF 在实现长时间序列渲染、顺序数据重构和紧凑数据存储方面的有效性。

    Dec, 2023

  • 来自非约束图像集的新视角合成的 Cross-Ray 神经辐射场

    本文提出了一种名为 Cross-Ray NeRF 的方法，通过利用交互信息合成视野，在处理过场景图像时能有效地减少遮挡和幽灵物体等问题。

    Jul, 2023

  • 重新 Nerfing: 通过新视角合成对神经辐射场施加几何约束

    通过 Re-Nerfing 方法，我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围，提高新视角的几何一致性，并通过新合成的图像实现结构和极线约束的优化，对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。

    Dec, 2023

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • 基于神经辐射场的工业机器人应用中的新视角合成

    本研究评估了 Neural Radiance Fields 在工业机器人应用中的潜力，并提出了一种替代 Structure from Motion 预处理的方法，通过基于机器人运动学的度量尺度确定了精确的相机姿态，表明在具有挑战性的场景中具有明显优势，并展示了在缺乏真实数据的情况下，应用集成方法估计合成新视图的质量的初步结果。

    May, 2024