本研究提出了一种基于商用机械臂的可行的、简化了数据收集过程的、能够有效采集各种复杂场景演示数据的人机互动界面,并采用了多项数据增强技术来优化模型的学习性能,最终在非捏取推动和物品堆叠等任务中获得了较高的成功率。
Aug, 2020
提出新方法 Interaction Warping 以形态扭曲技术学习单个演示的 SE (3) 机器人操作并演示其在三个目标重新排列任务中的表现,并证明在野外环境中其具有预测对象网格和机器人抓握的能力。
Jun, 2023
本文介绍了一种用于视觉模仿学习的简单方法,可以从一个人类演示中学习机器人操作任务,而无需先前了解与对象的交互情况,并且可以通过自监督学习进行训练。在实现过程中,该方法将模仿学习建模为状态估计问题,以目标交互开始时末端执行器的姿态作为状态,在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终,在测试时,机器人通过一条线性路径移动到预测的状态,然后简单地重放演示的末端执行器速度,从而获得了一个复杂的交互轨迹,而无需明确学习策略。在常见的 8 个任务上进行的实现结果表明,这种方法可以从单个人类演示中学习出多样的技能,并产生稳定且可解释的控制器。
May, 2021
通过预测交互进行操纵的学习,提取可视化表示,并且在真实世界和仿真环境中实现了 10% 至 64% 的显著性改进。
Jun, 2024
本文提出了一种使用基于 Transformer 的自注意力结构实现眼神预测,以实现具有记忆的机器人操作任务的算法。通过将机器人视觉输入的连续序列作为输入,该算法能够通过使用传统的深度模仿学习方法并结合眼动预测来实现多物体操作任务。实验结果表明,该方法成功地改善了机器人在具有记忆要求的复杂环境中的操作表现。
Feb, 2022
本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法,该方法可以扩展最近开发的策略搜索方法,并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹,然后将这些轨迹统一到一个单一的控制策略中。
Jan, 2015
通过离线和在线阶段的两步操作,本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法,包括轨迹提取、对象检测、轨迹匹配,借助多个辅助模型验证设计决策,并在真实世界场景下进行了广泛评估。
Mar, 2024
本文提出了一种基于数据驱动的建模方法,利用深度生成模型学习目标定向的物体操作,采用视觉规划和视觉跟踪控制解决目标检测问题。
May, 2019
通过单次演示和自我学习,提出了一种机器学习的框架,使机器能够获得灵活的操作技能,将其称为 “机制”。这些学习到的机制和采样器可以无缝地整合到标准的任务和动作规划器中,实现它们的组合使用。
Nov, 2023
通过模仿学习,我们能够快速理解一个新任务,通过演示,我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法,解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息,并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成:扩散式动作分割模型用于抽象演示的时间信息,以及开放词汇对象检测器用于空间信息。此外,我们通过符号推理来改进抽象的信息,并利用逆向运动学创建行动计划,以使机器人能够模仿演示的动作。
Jan, 2024