本文提出了一种新颖的类别级别的机器人操作方法,使用基于语义三维关键点的物体表示方法,并使用该表示法将操纵策略分解为实例分割、三维关键点检测、基于优化的机器人动作规划和本地密集几何学操作执行,从而提高了操纵泛化能力和鲁棒性。
Mar, 2019
本文中,我们探讨了可推广的感知行动机器人操纵,解决了一类物体操作的自动化,实现了接触丰富的操作任务,提出了一种基于关键点的物体表示方法,并扩展为闭环操作策略。我们提出了一种新颖的以物体为中心的动作表示方法,它可以完成需要精度和灵巧性的接触丰富操纵任务。
Feb, 2021
通过在大型语言模型(LLMs)中引入物体的运动学知识,我们提出了一个运动学感知的提示框架,来生成各种物体操作的低层运动轨迹航点,从而实现智能机器人的通用操控。我们的实验结果表明,该框架在 8 个已知物体类别上表现优于传统方法,并且在 8 个未知的关节式物体类别上展现出强大的零样本能力。同时,我们在 7 个不同的物体类别上进行的真实世界实验也证明了该框架在实际场景中的适应性。
Nov, 2023
本论文提出了一种名为可组合的基于部件的操纵(CPM)的新方法,通过利用物体部件分解和部件间对应关系,以提高机器人操纵技能的学习和概括能力。通过考虑物体部件之间的功能对应关系,我们将功能性动作(如倾倒和约束放置)概念化为不同对应约束的组合。CPM 包括一系列可组合扩散模型,其中每个模型捕捉了不同物体间的对应关系。这些扩散模型可以根据特定的物体部件生成操作技能的参数。利用基于部件的对应关系以及将任务分解为不同约束能够实现对新对象和对象类别的强大概括。我们在模拟和真实环境下验证了我们的方法,并展示了它在实现稳健且广义操纵能力方面的有效性。
May, 2024
本文提出了一个在未知环境中自主交互大型铰接物体的两阶段架构,第一阶段是以物体为中心的规划器,第二阶段是以智能代理为中心的规划器,并且在移动障碍物的情况下,通过优化控制问题确保安全跟踪所生成的计划。
Mar, 2021
该研究针对机器人在重复环境中的可操作性,提出一种基于物理模拟器的动态规划算法,结合多智能体路径规划的思想,用于实现机械臂动作计划与可移动物体状态变化之间的交互式自主调整。
Mar, 2023
本文提出了一种新颖的基于物体中心、类别级别表示和无模型 6 自由度运动跟踪的类别级别操作框架,它可以从一个演示视频中学习类别级别任务轨迹,并通过运动跟踪执行一个闭环控制方法,完整实现了在工业任务中的推广应用。
Jan, 2022
本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法,该方法可以扩展最近开发的策略搜索方法,并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹,然后将这些轨迹统一到一个单一的控制策略中。
Jan, 2015
本文探讨机器人行动的基本局限性和现有的视觉表征学习方法存在的问题,并提出利用语义三维关键点作为视觉表征的方法,通过半监督训练,使其精度达到毫米级别,能够帮助定义强化学习的奖励函数并作为代理训练的有效表征。
Sep, 2020
本研究提出了一种基于部件的交叉类别物体操纵策略,并使用新建的基准测试集 PartManip 进行了评估。通过标准化部件及关联奖励来培训状态专家,再通过知识蒸馏的方式将其应用于视觉学习中。此外,引入了领域敌对学习,以实现域不变性特征提取,结果表明该方法能够在模拟和真实环境中成功地操纵新颖物体。