May, 2024

TD-NeRF: 基于截断深度先验的联合相机姿态与神经辐射场优化

PDF
TL;DR通过联合优化辐射场和相机姿态，利用截断深度先验实现了从未知相机姿态训练 NeRF 的新方法 TD-NeRF，通过三个关键进展：1）提出基于截断正态分布的新型基于深度的射线采样策略，改善了姿态估计的收敛速度和准确性；2）引入了逐步改进深度精确度的粗到精的训练策略，以克服局部最小值和改善深度几何；3）提出了更强鲁棒的帧间点约束，在训练期间增强了对深度噪声的鲁棒性。在三个数据集上的实验结果表明，TD-NeRF 在相机姿态和 NeRF 的联合优化中取得了优越的性能，超过了先前的工作，并生成了更准确的深度几何。
neural radiance fieldscamera posesmonocular depth priorstruncated depth nerfjoint optimization
发现论文，激发创造
  • DäRF：使用单目深度自适应从稀疏输入中提升辐射场

    提出一种名为 D"aRF 的新框架，通过在线互补训练将 monocular depth estimation （MDE）网络的强大几何学优势与 Neural radiance fields（NeRF）表示相结合，通过缓解单眼深度的歧义问题来提高其鲁棒性和一致性，在少量真实世界图像情况下实现了强大的 3D 重建和新视角综合，成功解决了现有方法在不同类型场景或数据集上的局限性。

    May, 2023

  • AltNeRF：通过交替优化深度和姿态学习鲁棒的神经辐射场

    AltNeRF 是一个新颖的框架，利用自监督单目深度估计（SMDE）从单目视频中创建具有弹性的 Neural Radiance Fields（NeRF）表示，无需依赖已知的相机姿态，通过交替算法将 NeRF 的输出与 SMDE 融合，生成逼真的新视图。

    Aug, 2023

  • CT-NeRF：复杂轨迹下的逐步优化神经辐射场与姿态

    CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道，通过本地 - 全局捆绑调整和重投影几何图像距离约束，实现对相机姿态和场景结构的恢复，能够处理具有复杂轨迹的场景，并在新视角合成和姿态估计准确度方面优于现有方法。

    Apr, 2024

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • UP-NeRF: 无限制姿态先验的神经辐射场

    使用 UP-NeRF（无约束姿势先验的神经辐射场）优化 NeRF 以处理无约束图像集合和瞬态遮挡，通过优化颜色不敏感特征场和独立模块来处理瞬态遮挡，实现更鲁棒的姿势估计及深度监督。在具有挑战性的互联网照片集合（Phototourism 数据集）中，我们的方法相比基准方法如 BARF 及其变体表现出优越性能。

    Nov, 2023

  • DP-NeRF: 利用物理场景先验信息进行去模糊的神经辐射场

    本文提出 DP-NeRF 框架来处理受影响的图片，通过两个物理先验从实际模糊处理中获得刚性模糊核以实现三维一致性，结合深度和模糊之间的关系来细化颜色构图误差，且通过实验结果得出 DP-NeRF 成功提高构建 NeRF 的感知质量，保证 3D 几何和外观一致性。

    Nov, 2022

  • 将分布式 NeRF 与三阶段鲁棒姿态优化相结合

    通过三阶段位姿优化，建立具有分布式 NeRF 系统，在真实和模拟场景中展示出卓越性能的 NeRF 混合，包括精确姿势优化、多层级 NeRF 和坐标系转换。

    May, 2024

  • 深度监督下的 NeRF：更少的视角和更快的训练

    通过引入深度监督机制，结合 SFM（结构光运动）得到的 “自由” 深度监督信息，在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数，并且证明这种监督方式简单有效，可以使得渲染图像更加精准，支持其它类型的深度监督。

    Jul, 2021

  • BID-NeRF：基于逆向神经辐射场的 RGB-D 图像姿态估计

    我们旨在改进反转神经辐射场（iNeRF）算法，将图像姿态估计问题定义为基于 NeRF 的迭代线性优化。通过扩展具有基于深度的损失函数的本地化优化目标，引入基于多图像的损失函数，省略层次化采样以提高收敛速度并扩展收敛基。

    Oct, 2023

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023