Feb, 2024

点云的重要性：重新思考不同观测空间对机器人学习的影响

PDF
TL;DR通过在 17 个不同的接触丰富的操作任务上进行广泛实验证明，针对机器人学习中的不同观察空间，特别是 RGB、RGB-D 和点云，点云方法在性能上通常超过 RGB 和 RGB-D，不论是从头开始训练还是利用预训练。此外，研究结果表明，点云观察对于各种几何和视觉线索（包括摄像机视角、光照条件、噪声水平和背景外观）的零样本泛化具有改进作用，暗示了 3D 点云作为一种有价值的观察模态在复杂的机器人任务中的应用。
observation spacesrobot learningrgbrgb-dpoint cloud
发现论文，激发创造
  • 点云模型提升机器学习机器人的视觉鲁棒性

    通过对 RGB-D 和基于点云的视觉控制策略进行实验，我们发现明确编码点云的策略在可视条件变化下显著更加稳健，同时我们提出的点云世界模型（PCWM）在训练过程中大幅提升样本效率，这些结果表明通过点云对三维场景进行推理可以改善性能、缩短学习时间并提高机器学习算法的稳健性。

    Apr, 2024

  • 3D 点云强化学习效果研究

    该研究通过对比 2D 与 3D 表现，研究了 3D 神经网络在可视化强化学习任务中的效能，特别关注了基于 3D 点云的设计选择，研究表明在涉及到 agent-object/object-object 关系编码时，3D 点云比 2D 图像更有效，尤其在复杂的机器人操作任务中。

    Jun, 2023

  • 基于 RGB-D 数据的三维物体检测的台阶式点云网络

    本文探讨了利用深度学习在 3D 物体检测中，针对使用 RGB-D 数据在室内和室外场景下进行点云识别所面临的挑战以及如何提高效率。通过利用成熟的 2D 物体检测器和先进的 3D 深度学习来提高区域建议与对象本地化的精度，以取得高回收甚至小目标检测的良好性能。在 KITTI 和 SUN RGB-D 3D 检测基准上进行了评估，相比现有技术取得了显著的大幅度升级，并具有实时性能。

    Nov, 2017

  • ImageManip: 图像基于机器人操作的可支配性导向下一视角选择

    基于图像的机器人操纵系统，利用多个视角捕捉目标物体，推断深度信息以补充其几何信息，采用几何一致性融合视角，实现精确操纵决策。

    Oct, 2023

  • 具有点云感知的逼真环境中的体育问答

    在 Matterport 3D 等实景环境中，通过实例化大规模导航任务，我们研究了利用 3D 点云或 RGB 图像或它们的组合进行导航的方法，发现前进或随机这两种相对简单的导航方法强且难以超越，同时点云对于学习避免障碍提供了更丰富的信号。我们发现一种称为变曲点权重技术对于用于行为克隆的循环模型训练导航非常重要，并且能够使用此技术胜过基线。这一结果为继续研究基于 3D 深度学习模型的体式导航提供了动力。

    Apr, 2019

  • PointVoteNet: 点云中准确的物体检测和 6 自由度位姿估计

    本文提出了一种基于学习的方法，用于在点云数据中完成刚性物体的 6 自由度姿态估计，并且相比于使用 RGB 信息进行物体检测的方法，本方法可以通过初始检测到最终转换估计阶段处理无序的点集来实现准确的姿态估计，有些情况下还能够超过在相同数据上训练的最先进的方法.

    Dec, 2019

  • 点云下的抓取轨迹优化

    我们介绍了一种基于机器人和任务空间的点云表示的机器人抓取的新型轨迹优化方法。使用点云表示，通过点匹配可以实现抓取的目标到达，而通过查询场景点的有符号距离场中的机器人点的有符号距离值可以有效地实现避碰。因此，我们提出了一个约束非线性优化问题来解决联合运动和抓取规划问题。我们的方法的优势在于点云表示可用于任何环境中的任何机器人。我们通过在台面场景和货架场景上进行使用 Fetch 移动式机械手和 Franka Panda 机械臂的抓取实验来证明我们方法的有效性。

    Mar, 2024

  • 基于几何驱动的零样本三维点云理解聚合

    通过利用点云的几何结构改进传输的视觉 - 语言模型，我们提出了首个无需训练的聚合技术，通过几何和语义的点级推理，在分类、部件分割和语义分割等三个任务中取得了新的技术优势。

    Dec, 2023

  • 基于深度学习的三维点云分类：系统调查与展望

    该论文介绍了点云的获取、特点和挑战，回顾了点云分类的 3D 数据表示、存储格式和常用数据集，总结了基于深度学习的点云分类方法，并对最新研究进展进行了补充，对主要方法的性能进行了比较和分析，并讨论了点云分类面临的一些挑战和未来方向。

    Nov, 2023

  • 深度学习技术在三维点云分类和语义分割中的综述

    本研究综述了深度学习在点云处理中的最新进展、挑战和潜在研究方向，重点关注点云分析中的 3D 形状分类和语义分割两个主要任务。

    May, 2024