使用低成本硬件学习精细双手操作
本文介绍了一种用于视觉模仿学习的简单方法,可以从一个人类演示中学习机器人操作任务,而无需先前了解与对象的交互情况,并且可以通过自监督学习进行训练。在实现过程中,该方法将模仿学习建模为状态估计问题,以目标交互开始时末端执行器的姿态作为状态,在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终,在测试时,机器人通过一条线性路径移动到预测的状态,然后简单地重放演示的末端执行器速度,从而获得了一个复杂的交互轨迹,而无需明确学习策略。在常见的 8 个任务上进行的实现结果表明,这种方法可以从单个人类演示中学习出多样的技能,并产生稳定且可解释的控制器。
May, 2021
以多任务学习为基础,提出一种通过演示学习从而训练低成本机械臂控制器,以便完成数个拾取放置任务及非预抓取式操控操作的技术,使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器,参数在任务之间共享;同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明,可以通过行为克隆直接从原始图像中学习复杂的操纵任务,例如拾起毛巾、擦拭物体并将毛巾放回原位等,权重共享和基于重构的正则化大大提高了泛化性和鲁棒性,同时同时训练多个任务能够增加所有任务的成功率。
Jul, 2017
本文介绍使用干预性策略学习的方法来解决机器人操作任务中必须经过精确定序的地方的问题,提出一种 6 自由度机器人操作任务的数据采集系统,并开发了一个简单而有效的算法来收集新数据以遍历通过这些难点,使用干预策略学习的代理在机器人的线路穿线任务和制造咖啡任务中的表现优于其他多种基线算法。
Dec, 2020
本文介绍了如何利用消费级虚拟现实头显和手部追踪硬件来自然地远程操纵机器人执行复杂任务,并说明了如何使用仿真学习来学习从像素到动作的策略映射。实验展示了我们方法在视觉动作技能学习上的有效性。
Oct, 2017
本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法,该方法可以扩展最近开发的策略搜索方法,并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹,然后将这些轨迹统一到一个单一的控制策略中。
Jan, 2015
本文介绍了一种基于物体为中心示范实现的,用于训练软机械手进行熟练操作的方法,该方法使用增强学习技术,提出了一种新的算法,允许我们混合和选择最可行的示范来学习在硬件上模仿。最后,我们将这种方法应用于 RBO Hand 2 上,并获得了开 / 关阀门,滑珠和抓取等任务的良好表现。
Mar, 2016
研究多阶段机器人操纵任务的学习问题,应用于电缆布线,其中机器人必须通过一系列的夹子将电缆线路引出。通过使用基于视觉的策略训练的模仿学习系统,在较低(电机控制)和较高(排序)层面上描述了此方法,展示了在非常具有挑战性的夹子放置变化中普遍性能。
Jul, 2023
提出了一种新的基于模仿学习的框架(DIME),借助单个 RGB 相机观察人类运营,并在多指控制策略上进行了培训,以解决机械手复杂操纵任务的挑战。
Mar, 2022
本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察,以提高机器人的精准操作,并在 RLBench 基准测试中成功实现 74 项任务,还表现出对未曾见过变化的任务的良好泛化性能。
Sep, 2022
利用 GPU 模拟技术和模仿学习指导策略搜索以使强化学习培训可在高维机器人手表现复杂控制问题的领域中成为可能,最终演示了并行强化学习和模仿学习的互补优势和优秀的验证结果。
Dec, 2022