Dec, 2020

INeRF: 反演神经辐射场用于姿势估计

PDF
TL;DRiNeRF 是一种基于 “倒置” 神经辐射场（NeRF）的框架，它可以通过合成图像与观察图像像素之间的残差最小化来实现无网格姿态估计。实验表明，iNeRF 可以应用于复杂的真实场景中，还可以执行目录级别物体姿态估计。
inerfneural radiance fieldpose estimationmesh-freeanalysis-by-synthesis
发现论文，激发创造
  • BID-NeRF：基于逆向神经辐射场的 RGB-D 图像姿态估计

    我们旨在改进反转神经辐射场（iNeRF）算法，将图像姿态估计问题定义为基于 NeRF 的迭代线性优化。通过扩展具有基于深度的损失函数的本地化优化目标，引入基于多图像的损失函数，省略层次化采样以提高收敛速度并扩展收敛基。

    Oct, 2023

  • 基于隐式姿态正则化的无姿态神经辐射场

    IR-NeRF 通过引入隐式姿态正则化来改善对真实图像的姿态估计鲁棒性，实现了卓越的新视角合成，并在多个合成和真实数据集上持续优于现有技术。

    Aug, 2023

  • IFFNeRF：从单一图像和 NeRF 模型中的初始无需初始化且快速的 6DoF 姿态估计

    我们介绍了 IFFNeRF 以估计给定图像的六自由度（6DoF）相机姿态，基于神经辐射场（NeRF）的形成。IFFNeRF 专门设计用于实时操作，并消除了需要靠近所需解的初始姿态猜测的需求。IFFNeRF 利用 Metroplis-Hasting 算法从 NeRF 模型中采样表面点。通过对这些采样点投射射线并通过像素级视图合成来推断每个射线的颜色。然后，通过在查询图像和结果束之间选择对应关系来估计相机姿态作为最小二乘问题的解。我们通过学习的注意机制促进这个过程，将查询图像嵌入与参数化射线的嵌入进行匹配，从而与图像相关的射线相匹配。通过合成和实际评估环境，我们表明我们的方法相对于 iNeRF 可以提高 80.1％的角度和 67.3％的平移误差准确性，同时在消费硬件上以 34fps 运行并且不需要初始姿态猜测。

    Mar, 2024

  • IL-NeRF：具备相机姿态对齐的神经光辐射场的增量学习

    IL-NeRF 是一种用于增量训练 NeRF 的新框架，通过选择过去的摄像机姿态作为参考点，初始化和对齐传入图像数据的摄像机姿态，然后进行联合优化摄像机姿态和基于回放的 NeRF 知识蒸馏，实现了更高的渲染质量。

    Dec, 2023

  • GNeRF：基于 GAN 的神经辐射场无需姿态相机

    提出了 GNeRF 框架，将生成对抗网络（GAN）与神经辐射场（NeRF）重建结合起来，应用于复杂场景的视角合成。该框架通过两个阶段的端到端优化，解决了较少研究的未知相机姿态外部场景问题，并在多种场景中取得了优异的效果。

    Mar, 2021

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 无相机已知参数的神经辐射场（Neural Radiance Fields）--NeRF--

    本文提出 NeRF-- 用于学习相机内参和位姿，在各种相机运动情况下实现了准确的相机参数估计，并且在合成数据集 BLEFF 上实现了可比较的新视角渲染质量，为 2D 图像生成 3D 场景的任务提供了新思路。

    Feb, 2021

  • UP-NeRF: 无限制姿态先验的神经辐射场

    使用 UP-NeRF（无约束姿势先验的神经辐射场）优化 NeRF 以处理无约束图像集合和瞬态遮挡，通过优化颜色不敏感特征场和独立模块来处理瞬态遮挡，实现更鲁棒的姿势估计及深度监督。在具有挑战性的互联网照片集合（Phototourism 数据集）中，我们的方法相比基准方法如 BARF 及其变体表现出优越性能。

    Nov, 2023

  • 神经辐射场（NeRFs）：综述与一些最近的发展

    Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.

    Apr, 2023

  • IntrinsicNeRF: 学习可编辑的内在神经辐射场进行新视角合成

    通过引入本质表征分解的内在神经辐射场 (IntrinsicNeRF) 模型，将 NeRF 神经渲染方法的应用扩展到基于房间尺度的场景中；基于点采样和反射迭代聚类优化的方法使 IntrinsicNeRF 模型可以在无监督的环境下具备传统本质分解约束条件，并展示了在面对具有挑战性序列时，其具有相对稳定的本质分解结果和高保真度的新视角生成效果。

    Oct, 2022