Apr, 2024

神经场中的物体注册

PDF
TL;DR本文介绍了神经场在机器人应用中对 3D 几何和外观的连续场景表示，重点探讨了神经场在机器人领域中用于对象 6 自由度注册的方法和应用，展示了利用场景和对象神经场模型确定已知对象在场景中的 6 自由度姿态的情景，并展示了如何在不完美模型的场景中更好地表示对象，并通过将对象神经场模型替换到场景中生成新场景的方法。
neural fields3d geometryrobotics applicationsobject registration6-dof pose
发现论文，激发创造
  • Reg-NF: 神经场中隐性表面的高效配准

    本研究采用神经场进行注册，通过优化两个具有不同缩放因子的任意神经场之间的相对 6 自由度变换，实现连续隐式表示的多个神经场的注册，同时讨论神经场在无约束环境中的应用挑战和未来研究方向。

    Feb, 2024

  • 高自由度动态神经场用于机器人自建模和运动规划

    使用神经场将机器人的运动学作为神经隐式查询模型来自建模，能够实现比现有方法更广泛的应用，从而为自主代理提供必要的自我建模功能，并在运动规划任务中展示该模型的能力。

    Oct, 2023

  • 神经对应场用于物体姿态估计

    本文提出一种方法，通过单个 RGB 图像估计刚性物体的六自由度姿态，其中通过 3D 模型在摄像机视锥中采样三维查询点预测三维物体坐标，并借助全连接神经网络来实现神经对应场，最终使用 Kabsch-RANSAC 算法实现姿态估计，该方法在三个 BOP 数据集中都取得了最优结果。

    Jul, 2022

  • Fit-NGP：将物体模型与神经图形基元拟合

    一种基于密度场重建方法的准确稳健 3D 物体姿态估计系统，适用于小型具有挑战性反射表面的已知 3D 模型对象，并通过单个手腕摄像头驱动的机械臂，可以在几分钟内从零开始扫描场景、检测和估计多个对象的 6 自由度姿态。

    Jan, 2024

  • 用于视觉运动控制的三维神经场景表示

    本文提出了一种从 2D 视觉观察中学习动态 3D 场景模型的方法，结合神经放射场、时间对比学习和自动编码框架，可以学习到视点不变的 3D 感知场景表示，进而实现包括刚体和流体在内的具有挑战性的操作任务的视觉运动控制和未来预测，并支持摄影机视点外训练分布的目标规定，此外，还对不同系统设计进行了详细的改变研究和学习的表示的定性分析。

    Jul, 2021

  • VF-NeRF: 刚性 NeRF 注册的视域场

    本研究介绍了一种新的 NeRF 注册方法，利用 Viewshed Fields 在没有摄像机位置信息的情况下，实现了对两个 NeRFs 之间的刚体注册，并在多个数据集上进行了验证，取得了具有领先地位的结果。

    Apr, 2024

  • 单图像神经场实现机器人物体操作

    通过利用神经辐射场（NeRF）的一个紧凑的单一图像表示，我们能够从单一图像中推断物体渲染，三维重建和抓握姿势预测，从而比先前方案小两个到三个数量级，而实现可比的视图重建和抓握性能。

    Oct, 2022

  • 视觉计算及其它领域中的神经场

    本研究提供了神经场的数学基础和文献综述，包括不同表征方式、结构、前向传递和推广方法，介绍了神经场在视觉计算和其他领域（例如机器人，音频）中的应用，证明了这种方法所带来的质量改善、灵活性和能力提高。

    Nov, 2021

  • 神经描述符域：SE（3）- 等变物体表征用于操作

    提出了神经描述器场（NDF），一种通过类别级别描述符编码物体和目标（例如机器人夹子或挂架）之间的点和相对姿态的物体表示。通过自我监督学习 3D 自编码任务来方便地训练 NDFs，并将其用于从少量示范中学习物体操作任务，具有跨越所有可能的 3D 物体翻转和旋转的性能。

    Dec, 2021

  • BundleSDF：未知物体的 6 自由度神经跟踪和 3D 重建

    本研究提出了一种近实时的方法，可以从单目 RGBD 视频序列中对未知物体进行 6 自由度跟踪，并同时进行神经 3D 重建。该方法适用于任意刚体对象，即使视觉纹理基本不存在。该方法的关键在于同时学习神经对象场和姿态图优化过程，以稳健地累积信息以捕捉物体的几何和外观，而不需要其他信息和假设。本方法可以处理具有大的位姿变化，部分遮挡，无纹理表面和高光反射等挑战性序列，而且通过在 HO3D，YCBInEOAT 和 BEHAVE 数据集上的测试，证明本研究方法显著优于现有方法。

    Mar, 2023