Sep, 2023

DynaMoN：动态 NeRF 的快速可靠的相机定位

PDF
TL;DR使用动态重建和神经辐射场 (NeRF) 时，准确的摄像机姿态往往难以使用现有的视觉结构重建 (SfM) 流程获取，因为摄像机和场景内容都可能发生变化。我们提出了 DynaMoN，它与运动遮罩相结合来处理动态场景内容的同时定位与建图 (SLAM)。我们基于稳健的基于 SLAM 的跟踪模块显著加速了动态 NeRF 的训练过程，并同时提高了合成视图的质量。大规模的实验验证（在 TUM RGB-D、BONN RGB-D Dynamic 和 DyCheck 的 iPhone 数据集上）显示了 DynaMoN 在摄像机姿态估计和新视图合成方面的优势。
dynamic reconstructionneural radiance fieldscamera posessimultaneous localization and mappingmotion masking
发现论文，激发创造
  • 基于时间变化表示和动态神经辐射场的追踪和建图

    本研究提出了一种时间变化的表示方法，用于跟踪和重建动态场景，并使用动态选择策略的神经辐射场结合同时定位和建图框架，实现了更有效的动态建图方法。

    Oct, 2023

  • NeRF-SLAM：神经辐射场实时稠密单目 SLAM

    提出了一种新的基于几何和光学的三维地图制图方法，利用稠密单目 SLAM 和实时分层体积神经辐射场技术，通过提供估计准确的位姿和深度图的相关不确定性，实时适应神经辐射场的场景。通过采用提出的基于不确定性的深度损失，实现了良好光学和几何精度，在实时和单目成像的情况下比竞争方法更精确 (最高提高 179% 的 PSNR 和 86% 的 L1 深度)。

    Oct, 2022

  • LocoNeRF：一种基于 NeRF 的局部运动结构方法用于精确定位

    提出了一种利用运动感知结构（Structure from Motion，SfM）技术，通过利用神经辐射场（Neural Radiance Fields，NeRF）技术来提高视觉定位精度的新方法，并进行了与现有方法的存储和精度比较。

    Oct, 2023

  • CTNeRF：来自单眼视频的动态神经辉度场的跨时间变压器

    我们的研究目标是从复杂动态场景的单目视频中生成高质量的新视图。为了解决过去方法在准确建模复杂物体运动方面的局限性，我们提出了一种新方法，结合了近期的广义 NeRF 和在时间和频率域中操作的模块，以改善动态场景的图像合成的精确度和视觉质量。

    Jan, 2024

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023

  • SLAIM：鲁棒稠密神经 SLAM 用于在线跟踪和建图

    我们提出了 SLAIM - 同时定位和隐式建图。我们在神经光度场 SLAM（NeRF-SLAM）中提出了一种新颖的粗到细的跟踪模型，以实现最先进的跟踪性能。通过在 NeRF 之上实施高斯金字塔滤波器来解决 NeRF 系统在有限的输入视图情况下收敛到正确几何形状的挑战。我们的方法实现了局部和全局束调整，以产生强大（粗到细）和准确（KL 正则化器）的 SLAM 解决方案。在多个数据集（ScanNet，TUM，Replica）上进行实验证明在跟踪和重建准确性方面达到了最先进的结果。

    Apr, 2024

  • 基于比较性神经辐射场（NeRF）的 HoloLens 轨迹和运动结构摄像机姿态三维分析

    利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建，包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态，两者均通过姿态优化得到改善；结果表明，相较于传统的 Multi-View Stereo 密集重构方法，在完整性和细节层面上，NeRF 重建表现更好。

    Apr, 2023

  • NeRF-VO：基于神经辐射场的实时稀疏视觉里程计

    我们引入了一种新颖的单目视觉里程计（VO）系统 NeRF-VO，它整合了基于学习的稀疏视觉里程计用于低延迟相机跟踪和神经辐射场景表示用于复杂的密集重建和新视角合成。我们的系统使用稀疏视觉里程计初始化相机位姿，并从单目深度预测网络获取视角相关的密集几何先验。我们将位姿和密集几何的尺度统一起来，将它们视为监督信号来训练神经隐式场景表示。NeRF-VO 通过联合优化关键帧位姿和底层密集几何，在边缘项渲染的过程中训练辐射场，展现了出色的场景表示的光度和几何保真度，在各种合成和真实世界的数据集上超过了最先进的方法，在姿态估计准确性、新视角合成保真度和密集重建质量方面都取得了更好的性能，并且在相机跟踪频率更高和 GPU 内存消耗更少的情况下。

    Dec, 2023

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021