MMMay, 2024

基于神经辐射场的工业机器人应用中的新视角合成

PDF
TL;DR本研究评估了 Neural Radiance Fields 在工业机器人应用中的潜力，并提出了一种替代 Structure from Motion 预处理的方法，通过基于机器人运动学的度量尺度确定了精确的相机姿态，表明在具有挑战性的场景中具有明显优势，并展示了在缺乏真实数据的情况下，应用集成方法估计合成新视图的质量的初步结果。
neural radiance fieldsphotogrammetric workflowsstructure from motionindustrial robot applicationsensemble methods
发现论文，激发创造
  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • LENS: 借助 NeRF 合成增强的本地化

    本文提出将新视角合成应用于机器人重定位问题，通过 NeRF 类算法所渲染的额外合成数据集，从内部表示的三维场景几何形态中选择虚拟相机位置，进一步改进了姿态回归器的定位精度，结果大幅降低了 Cambridge 地标和 7 景数据集的误差，并将精度与基于结构的方法相媲美，无需架构修改或领域适应性约束，因为该方法允许几乎无限产生训练数据，我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制，得出结论，姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制，而非姿态回归模型解决本地化任务的能力。同时，采用合成的逼真且具有几何一致性的图像进行数据增强。

    Oct, 2021

  • VMRF: 视图匹配神经辐射场

    VMRF is an innovative NeRF that can effectively train without requiring prior knowledge in camera poses or camera pose distributions through its view matching scheme and feature transport plan.

    Jul, 2022

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • S-NeRF：街景的神经辐射场

    本文提出了一种新的街景神经辐射场模型（S-NeRF），它考虑了大规模背景场景和前景移动车辆的新视角合成，通过改进场景参数化函数和学习更好的神经表示来应对现有 NeRF 模型在街景合成中出现的问题，并使用嘈杂和稀疏的 LiDAR 点来提高训练的鲁棒性和减少深度奇异值出现的情况。我们的 S-NeRF 模型在各种大规模驾驶数据集上的实验证明了它优于现有最先进方法在街景合成中减少了 7％至 40％的均方误差，并在移动车辆渲染的 PSNR 方面获得了 45％的增益。

    Mar, 2023

  • UC-NeRF：用于自动驾驶中未校准多视角相机的神经辐射场

    UC-NeRF 是一种专门针对欠校准多视角摄像系统的新视角合成方法，通过图层级颜色校正、虚拟畸变、时空约束的位姿细化等技术实现了在多摄像头环境下的优秀新视角合成和大规模室外场景的深度估计。

    Nov, 2023

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023

  • 工业与机器人领域中的神经辐射场：应用、研究机会和使用案例

    该研究论文通过详细研究神经辐射场（NeRF）在工业应用领域的潜力，并提供未来研究方向，证明了 NeRF 在工业领域的潜力。此外，论文还展示了 NeRF 在视频压缩和三维运动估计方面的实验结果，证明了它们在这些应用中的有效性。

    Aug, 2023

  • 神经辐射世界中的仅视觉机器人导航

    利用神经辐射场（Neural Radiance Fields）的连续体密度和 RGB 值的神经网络，以及基于射线追踪的方式生成真实照片，我们提出了一种利用机载 RGB 摄像头的算法，使机器人在 NeRF 表示的 3D 场景中导航，并通过一种优化算法避免与高密度区域的碰撞，并在线重新规划路径。

    Oct, 2021

  • 基于比较性神经辐射场（NeRF）的 HoloLens 轨迹和运动结构摄像机姿态三维分析

    利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建，包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态，两者均通过姿态优化得到改善；结果表明，相较于传统的 Multi-View Stereo 密集重构方法，在完整性和细节层面上，NeRF 重建表现更好。

    Apr, 2023