Mar, 2024

DISORF：一个分布式在线 NeRF 训练和渲染框架，用于移动机器人

PDF
TL;DR我们提出了一种名为 DISORF 的框架，用于实现资源有限的移动机器人和边缘设备捕捉场景的在线三维重建和可视化。该框架能够解决边缘设备计算能力有限和网络可用性不足的问题，并利用设备上的 SLAM 系统生成位姿关键帧，通过远程服务器在运行时利用 NeRF 模型实现高质量的三维重建和可视化。我们还提出了一种新的移动 NeRF 训练方法来解决在线 NeRF 训练中图像采样导致的渲染质量下降的挑战。我们演示了该框架在移动机器人和边缘设备的相机捕捉和流媒体传输的过程中实现高质量的实时重建和可视化的有效性。
发现论文，激发创造
  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • DiSR-NeRF：扩散引导的视角一致超分辨率 NeRF

    DiSR-NeRF 是一个利用扩散引导的框架来实现视图一致的超分辨率 NeRF，该方法通过利用现有的强大 2D 超分辨率模型来规避高分辨率参考图像的要求，并通过 NeRF 的内在多视图一致性属性提出了迭代的 3D 同步技术来减轻 LR 渲染图像之间不一致的问题。通过 Renoised Score Distillation，我们进一步引入了一种新颖的用于 2D 图像分辨率的评分蒸馏目标函数。我们的 DiSR-NeRF 在合成和真实世界数据集上进行的定性和定量结果表明，与现有方法相比，我们的方法在 NeRF 超分辨率上可以取得更好的效果。

    Apr, 2024

  • 将分布式 NeRF 与三阶段鲁棒姿态优化相结合

    通过三阶段位姿优化，建立具有分布式 NeRF 系统，在真实和模拟场景中展示出卓越性能的 NeRF 混合，包括精确姿势优化、多层级 NeRF 和坐标系转换。

    May, 2024

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023

  • DistillNeRF：通过蒸馏神经场和基础模型特征从一瞥图像中感知 3D 场景

    DistillNeRF 是一个自监督学习框架，专注于理解自动驾驶中基于有限 2D 观测的 3D 环境。该方法通过稀疏的、单帧的多视角相机输入，预测丰富的神经场景表示，并通过可微分渲染进行自监督训练以重构 RGB、深度或特征图像。实验证明，DistillNeRF 在场景重建、新视角合成、深度估计和 3D 语义占用预测等方面明显优于现有自监督方法。

    Jun, 2024

  • 知识 NeRF：动态关节物体的少样例新视点合成

    通过利用 Knowledge NeRF 模型和仅有少量观测状态，在动态场景中成功重建 3D 场景并生成新视角。

    Mar, 2024

  • IFFNeRF：从单一图像和 NeRF 模型中的初始无需初始化且快速的 6DoF 姿态估计

    我们介绍了 IFFNeRF 以估计给定图像的六自由度（6DoF）相机姿态，基于神经辐射场（NeRF）的形成。IFFNeRF 专门设计用于实时操作，并消除了需要靠近所需解的初始姿态猜测的需求。IFFNeRF 利用 Metroplis-Hasting 算法从 NeRF 模型中采样表面点。通过对这些采样点投射射线并通过像素级视图合成来推断每个射线的颜色。然后，通过在查询图像和结果束之间选择对应关系来估计相机姿态作为最小二乘问题的解。我们通过学习的注意机制促进这个过程，将查询图像嵌入与参数化射线的嵌入进行匹配，从而与图像相关的射线相匹配。通过合成和实际评估环境，我们表明我们的方法相对于 iNeRF 可以提高 80.1％的角度和 67.3％的平移误差准确性，同时在消费硬件上以 34fps 运行并且不需要初始姿态猜测。

    Mar, 2024

  • 将 NeRF 与特征匹配相结合的一步姿态估计

    基于图像的姿态估计方法，结合 NeRF 技术实现了实时的机器人应用，通过建立 2D-3D 对应关系和改进的点挖掘策略提高了准确性，并且在代表性数据集上的实验结果表明，相比于现有方法，推断效率提高了 90 倍，能够以 6 帧每秒的速度进行实时预测。

    Apr, 2024

  • 未知姿态下的多视角到 3D 的生成性提升：将 NeRF 包装在扩散中

    我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的 2D 图像，我们的方法同时学习了一个网络来预测从 2D 图像输入中的相机姿态，并学习了用于 3D 场景的神经辐射场（NeRF）的参数。通过在标准去噪目标下使用去噪扩散概率模型（DDPM）将姿态预测网络和 NeRF 结合在一起并训练系统来推动学习进展。我们的框架要求系统通过预测图像的姿态并渲染 NeRF 来完成去噪输入 2D 图像的任务。学习去噪因此迫使系统同时学习底层的 3D NeRF 表示和从图像到摄像机外参数的映射。为了促进后者，我们设计了一个自定义的网络架构来将姿态表示为一个分布，从而在仅进行去噪训练时具备发现视图对应关系的隐式能力。这种技术允许我们的系统成功构建 NeRFs，并在竞争方法失败的具有挑战性的场景中使用。在训练结束时，我们学习到的 NeRF 可以被提取并用作 3D 场景模型；我们的完整系统可以用于采样新的相机姿态并生成新的视角图像。

    Jun, 2024

  • 神经辐射世界中的仅视觉机器人导航

    利用神经辐射场（Neural Radiance Fields）的连续体密度和 RGB 值的神经网络，以及基于射线追踪的方式生成真实照片，我们提出了一种利用机载 RGB 摄像头的算法，使机器人在 NeRF 表示的 3D 场景中导航，并通过一种优化算法避免与高密度区域的碰撞，并在线重新规划路径。

    Oct, 2021