Aug, 2023

具有神经调谐层析术（NeTT）和掩模神经辐射场（mNeRF）的稳健单视锥形束 X 射线姿态估计

PDF
TL;DR基于 X 射线投影的位姿估计问题，提出了两种高保真度视角综合方法，Neural Tuned Tomography (NeTT) 和 masked Neural Radiance Fields (mNeRF)，并展示了它们在该框架内明显改善位姿估计的结果。
pose estimationx-ray projectionsview synthesisneural tuned tomographymasked neural radiance fields
发现论文，激发创造
  • CT-NeRF：复杂轨迹下的逐步优化神经辐射场与姿态

    CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道，通过本地 - 全局捆绑调整和重投影几何图像距离约束，实现对相机姿态和场景结构的恢复，能够处理具有复杂轨迹的场景，并在新视角合成和姿态估计准确度方面优于现有方法。

    Apr, 2024

  • 面向医学神经辐射场的不确定性感知单视图体积渲染

    利用生成的辐射场，本文提出了基于不确定性感知的 MedNeRF 神经网络，通过从 2D X 射线图像中获取内部结构和深度信息，并使用自适应损失权重来学习 CT 投影的连续表达，以确保生成图像的质量。在公开可用的膝盖和胸部数据集上训练，以及利用单个 X 射线进行 CT 投影渲染，并与其他基于生成的辐射场的方法进行比较。

    Nov, 2023

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023

  • 基于比较性神经辐射场（NeRF）的 HoloLens 轨迹和运动结构摄像机姿态三维分析

    利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建，包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态，两者均通过姿态优化得到改善；结果表明，相较于传统的 Multi-View Stereo 密集重构方法，在完整性和细节层面上，NeRF 重建表现更好。

    Apr, 2023

  • 基于神经辐射场的工业机器人应用中的新视角合成

    本研究评估了 Neural Radiance Fields 在工业机器人应用中的潜力，并提出了一种替代 Structure from Motion 预处理的方法，通过基于机器人运动学的度量尺度确定了精确的相机姿态，表明在具有挑战性的场景中具有明显优势，并展示了在缺乏真实数据的情况下，应用集成方法估计合成新视图的质量的初步结果。

    May, 2024

  • 未知姿态下的多视角到 3D 的生成性提升：将 NeRF 包装在扩散中

    我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的 2D 图像，我们的方法同时学习了一个网络来预测从 2D 图像输入中的相机姿态，并学习了用于 3D 场景的神经辐射场（NeRF）的参数。通过在标准去噪目标下使用去噪扩散概率模型（DDPM）将姿态预测网络和 NeRF 结合在一起并训练系统来推动学习进展。我们的框架要求系统通过预测图像的姿态并渲染 NeRF 来完成去噪输入 2D 图像的任务。学习去噪因此迫使系统同时学习底层的 3D NeRF 表示和从图像到摄像机外参数的映射。为了促进后者，我们设计了一个自定义的网络架构来将姿态表示为一个分布，从而在仅进行去噪训练时具备发现视图对应关系的隐式能力。这种技术允许我们的系统成功构建 NeRFs，并在竞争方法失败的具有挑战性的场景中使用。在训练结束时，我们学习到的 NeRF 可以被提取并用作 3D 场景模型；我们的完整系统可以用于采样新的相机姿态并生成新的视角图像。

    Jun, 2024

  • 基于点的神经辐射场模型：Point-NeRF

    该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF，它结合了 NeRF 和深度多视图立体成像两种方法的优点，可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征，相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。

    Jan, 2022

  • TD-NeRF: 基于截断深度先验的联合相机姿态与神经辐射场优化

    通过联合优化辐射场和相机姿态，利用截断深度先验实现了从未知相机姿态训练 NeRF 的新方法 TD-NeRF，通过三个关键进展：1）提出基于截断正态分布的新型基于深度的射线采样策略，改善了姿态估计的收敛速度和准确性；2）引入了逐步改进深度精确度的粗到精的训练策略，以克服局部最小值和改善深度几何；3）提出了更强鲁棒的帧间点约束，在训练期间增强了对深度噪声的鲁棒性。在三个数据集上的实验结果表明，TD-NeRF 在相机姿态和 NeRF 的联合优化中取得了优越的性能，超过了先前的工作，并生成了更准确的深度几何。

    May, 2024

  • 从纹理空间中为 NeRFs 进行动画：一种基于姿态的人类表演渲染框架

    基于 NeRF 的人体表演姿态依赖渲染的新方法，通过将辐射场围绕 SMPL 人体模型进行扭曲，实现了新的表面对齐表示，可以通过骨骼关节参数和视点来实现动画化，并通过引入新的重新映射过程来实现高质量渲染。

    Nov, 2023

  • 基于隐式姿态正则化的无姿态神经辐射场

    IR-NeRF 通过引入隐式姿态正则化来改善对真实图像的姿态估计鲁棒性，实现了卓越的新视角合成，并在多个合成和真实数据集上持续优于现有技术。

    Aug, 2023