CVPRMar, 2023

PartManip：从点云观测中学习跨类别通用零件操作策略

PDF
TL;DR本研究提出了一种基于部件的交叉类别物体操纵策略，并使用新建的基准测试集 PartManip 进行了评估。通过标准化部件及关联奖励来培训状态专家，再通过知识蒸馏的方式将其应用于视觉学习中。此外，引入了领域敌对学习，以实现域不变性特征提取，结果表明该方法能够在模拟和真实环境中成功地操纵新颖物体。
发现论文，激发创造
  • GAPartNet: 通过泛化可操作部件实现跨类别通用物体感知与操作

    通过 Generalizable and Actionable Parts (GAParts) 来实现交叉类别通用的目标认知和操作，构建大规模的基于部件的交互数据集 GAPartNet 并利用对抗学习技术提出鲁棒的三维分割方法，通过部分分割和姿态估计结果结合 GAPart 的姿态定义设计出一些基于部件的操作启发式策略能普遍适用于模拟器和现实世界的未知物体类别，方法在不同类别上大幅优于现有方法。

    Nov, 2022

  • 通过生成对抗自我模仿学习从示范中学习类别级可搬移物体操作策略

    本文通过模仿学习的方式解决在复杂情况下通过学习实现物体操作技能的问题，提出了一种可以应用于各项任务的无先验奖励的泛化策略学习方法，并通过几个关键技术，包括生成式对抗自我模仿学习、不断完善的判别器和平衡专家池中的实例，显著提高了分类水平操作策略学习的效率和泛化能力。实验结果在 ManiSkill 基准测试中都有明显改善。

    Mar, 2022

  • 可组合的基于部件的操作

    本论文提出了一种名为可组合的基于部件的操纵（CPM）的新方法，通过利用物体部件分解和部件间对应关系，以提高机器人操纵技能的学习和概括能力。通过考虑物体部件之间的功能对应关系，我们将功能性动作（如倾倒和约束放置）概念化为不同对应约束的组合。CPM 包括一系列可组合扩散模型，其中每个模型捕捉了不同物体间的对应关系。这些扩散模型可以根据特定的物体部件生成操作技能的参数。利用基于部件的对应关系以及将任务分解为不同约束能够实现对新对象和对象类别的强大概括。我们在模拟和真实环境下验证了我们的方法，并展示了它在实现稳健且广义操纵能力方面的有效性。

    May, 2024

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 仅需一次演示：从单一视觉演示实现类别级别操作

    本文提出了一种新颖的基于物体中心、类别级别表示和无模型 6 自由度运动跟踪的类别级别操作框架，它可以从一个演示视频中学习类别级别任务轨迹，并通过运动跟踪执行一个闭环控制方法，完整实现了在工业任务中的推广应用。

    Jan, 2022

  • 使用引导式策略搜索学习接触丰富型操作技能

    本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法，该方法可以扩展最近开发的策略搜索方法，并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹，然后将这些轨迹统一到一个单一的控制策略中。

    Jan, 2015

  • Robobarista: 基于物体部分的 3D 点云操作轨迹众包转移

    本文提出了一种以机器学习为基础的家庭机器人物品操控规划框架，该框架结合了大规模众包数据集和三种不同形态的语言特征，使得即使对于未曾见过的物品，家庭机器人也能够对其进行操控。

    Apr, 2015

  • 迈向基于开放世界的零件分割

    本文提出了一种利用无类别部件分割来减少标注难度并能适用于未知目标的部件分割方法，并通过对象感知性和自监督学习的方式对此进行了改进。

    May, 2023

  • kPAM-SC: 使用关键点可操作性和形状补全实现通用的操纵规划

    该论文研究了在存在大量形状差异的物体类别中，如何使用高效的物体表示方式和机器学习方法，实现基于感知输入的机器人运动规划，来完成任务。

    Sep, 2019

  • 学习分组：一种针对未见类别的底部向上的三维零件发现框架

    本研究提出一种基于学习的聚合聚类框架，在提取局部上下文以促进泛化到未知类别的情况下，学习部件的几何先验知识，并在不看到任何注释样本的情况下将其应用到未见过的类别中，实现了对大规模细粒度 3D 零件数据集 PartNet 的有效分割。

    Feb, 2020