Sep, 2023

PAg-NeRF：用于农业机器人快速高效的全景 3D 表示的端到端方法

PDF
TL;DR使用 PAg-NeRF 这一新颖的基于 NeRF 的系统，我们能够在具有嘈杂机器人测距位姿和不一致的自动全景预测 ID 之间的图像序列上训练我们的表示，尽管有这些嘈杂的输入，我们的系统能够输出场景几何结构，照片逼真渲染和一致的 3D 全景表示，我们在一个极具挑战的园艺场景中评估了这一新颖系统，通过这样做证明了一个可以利用嘈杂机器人位姿而不是预先计算的精确位姿的端到端可训练系统，与基准方法相比，峰值信噪比从 21.34dB 提高到 23.37dB，全景质量从 56.65% 提高到 70.08%，此外，我们的方法更快且可以通过调整提高推理时间，同时具有大约 12 倍少的参数。
precise scene understandingrobot monitoringintervention taskspag-nerf3d panoptic scene understanding
发现论文，激发创造
  • 城市场景中的全景 3D 到 2D 标签转移：PanopticNeRF-360

    利用粗糙的三维注释和有噪音的二维语义线索结合，从任意视角生成一致的全景标签和高质量图像。

    Sep, 2023

  • 全景城市场景分割的 3D 到 2D 标签转移的 Panoptic NeRF

    本研究提出了一种新的 3D 到 2D 标签转换方法 - Panoptic NeRF 用于语义分割和实例分割任务，它利用了现有数据集中 2D 语义线索和粗糙 3D 标注信息的统一，实现了多视角一致的二维标签生成，可以提高多视角下的几何语义渲染准确性，消除粗糙 3D 标注的标签歧义和 2D 语义标注的噪声，与其他标签转移方法相比，在 KITTI-360 数据集的城市场景中，Panoptic NeRF 在准确度和多视角一致性方面表现更好。

    Mar, 2022

  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • GP-NeRF：通用感知 NeRF 用于上下文感知 3D 场景理解

    提出了一种通用感知 NeRF（GP-NeRF）模型，通过引入 transformers 和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。

    Nov, 2023

  • PERF：从单个全景图生成全景神经辐射场

    本文提出了一个由单个全景图训练出的全景神经辐射场模型（PERF）用于 360 度全景图的新视角合成，其中采用了一种协作 RGBD 修复方法和逐步修复和删除的策略，实现了在复杂场景中的 3D 漫游。该方法在 Replica 数据集和 PERF-in-the-wild 数据集上进行了广泛实验证明了其优越性，并可广泛应用于全景图转 3D、文本转 3D 和 3D 场景风格化等实际应用中。

    Oct, 2023

  • Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

    利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。

    Dec, 2021

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023

  • AG-NeRF：用于多高度大规模室外场景渲染的注意力引导神经辐射场

    提出了一种名为 AG-NeRF 的端到端框架，通过合成根据不同高度的场景生成自由视角图像，从而降低构建良好重建模型的训练成本，并通过源图像选择方法和基于注意力的特征融合方法来解决从低高度到高高度的细节变化问题，实验证明 AG-NeRF 在多个评估基准上达到了 SOTA 水平，并且仅需半小时的训练时间与最新的 BungeeNeRF 相比便可达到竞争性的峰值信噪比。

    Apr, 2024

  • 神经辐射世界中的仅视觉机器人导航

    利用神经辐射场（Neural Radiance Fields）的连续体密度和 RGB 值的神经网络，以及基于射线追踪的方式生成真实照片，我们提出了一种利用机载 RGB 摄像头的算法，使机器人在 NeRF 表示的 3D 场景中导航，并通过一种优化算法避免与高密度区域的碰撞，并在线重新规划路径。

    Oct, 2021

  • 利用神经辐射场进行植物高保真度三维重建

    精准农业领域的重要问题之一是植物表型的准确重建。最近，神经辐射场（NeRF）方法在 2D 新视图图像合成和 3D 农作物和植物模型重建方面表现出出色的性能，但在农业环境中尚未深入研究。本研究通过两种最先进的方法 Instant-NGP 和 Instant-NSR，探索了 NeRF 方法的优势和局限，并提出了一种新的植物表型数据集，以全面评估 NeRF 在农业上下文中的应用。实验结果显示，NeRF 方法在合成新视图图像和与 Reality Capture 相媲美的 3D 重建方面表现出可观的性能，但存在训练速度较慢、采样不足时的性能限制以及在复杂环境中获取几何质量的挑战等问题。

    Nov, 2023