点云模型提升机器学习机器人的视觉鲁棒性
通过在 17 个不同的接触丰富的操作任务上进行广泛实验证明,针对机器人学习中的不同观察空间,特别是 RGB、RGB-D 和点云,点云方法在性能上通常超过 RGB 和 RGB-D,不论是从头开始训练还是利用预训练。此外,研究结果表明,点云观察对于各种几何和视觉线索(包括摄像机视角、光照条件、噪声水平和背景外观)的零样本泛化具有改进作用,暗示了 3D 点云作为一种有价值的观察模态在复杂的机器人任务中的应用。
Feb, 2024
该研究通过对比 2D 与 3D 表现,研究了 3D 神经网络在可视化强化学习任务中的效能,特别关注了基于 3D 点云的设计选择,研究表明在涉及到 agent-object/object-object 关系编码时,3D 点云比 2D 图像更有效,尤其在复杂的机器人操作任务中。
Jun, 2023
在 Matterport 3D 等实景环境中,通过实例化大规模导航任务,我们研究了利用 3D 点云或 RGB 图像或它们的组合进行导航的方法,发现前进或随机这两种相对简单的导航方法强且难以超越,同时点云对于学习避免障碍提供了更丰富的信号。我们发现一种称为变曲点权重技术对于用于行为克隆的循环模型训练导航非常重要,并且能够使用此技术胜过基线。这一结果为继续研究基于 3D 深度学习模型的体式导航提供了动力。
Apr, 2019
通过使用 3D 点云来进行语言引导的操纵任务,我们提出了一种名为 PolarNet 的策略,该策略通过精心设计的点云输入、高效的点云编码器和多模态变换器来学习 3D 点云表示并将其与语言指令集成以进行行动预测。在 RLBench 基准测试中,PolarNet 在各种实验中显示出了高效和数据高效性,并在单任务和多任务学习中优于最先进的 2D 和 3D 方法。它在实际机器人上也取得了令人期待的结果。
Sep, 2023
PCExpert 是一种基于自监督表示学习的新方法,将点云重新解释为 ' 特殊图像 ',通过与预训练图像编码器在多路 Transformer 架构中广泛共享参数的策略,结合用于预训练的新颖预文本任务,即变换估计,使其在各种任务中表现优异并大幅减少可训练参数的数量。
Jul, 2023
该研究针对点云分类中的对抗攻击问题,提出了一个名为 PointCert 的通用框架,可将任何分类器变成可以抗击对抗点云攻击的验证型分类器,证明 PointCert 在多个应用场景中的鲁棒性性能明显优于现有的认证防御技术。
Mar, 2023
提出了一种基于图结构和神经网络的方法,能够同时实现旋转、平移、缩放的不变性以及点云稀疏程度的稳健性,此方法在模型识别与检索任务方面,其性能可显著提高。
Feb, 2020
我们开发了一种能够以超过 50 赫兹的速度为不同类别的对象创建变形点云的变形网格的方法,该方法使用点云自动编码器和 Real-NVP 架构设计,可以在闭环方式下提供在线反馈并进行机器人应用的网格重建和跟踪。
Nov, 2023