Apr, 2024

JUICER: 数据高效的机器人装配模仿学习

PDF
TL;DR本文提出了一种在小规模人类示范预算下改善模仿学习性能的流程，并将其应用于需要高精度和长视程操作的装配任务，通过结合表达能力强的策略架构和数据集扩展与基于仿真的数据增强等技术来扩展数据集支持并在高精度要求的瓶颈区域附近监督模型的局部纠正动作，实现了在仿真环境中进行四个家具装配任务并直接从 RGB 图像中组装多达五个零件，性能超过了模仿学习和数据增强的基线。
发现论文，激发创造
  • 使用远程遥操作的人在循环中模仿学习

    本文介绍使用干预性策略学习的方法来解决机器人操作任务中必须经过精确定序的地方的问题，提出一种 6 自由度机器人操作任务的数据采集系统，并开发了一个简单而有效的算法来收集新数据以遍历通过这些难点，使用干预策略学习的代理在机器人的线路穿线任务和制造咖啡任务中的表现优于其他多种基线算法。

    Dec, 2020

  • 复合视觉运动任务的一次性分层模仿学习

    我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

    Oct, 2018

  • 针对多样化视觉动作技能的强化学习和模仿学习

    该研究提出了一种模型无关的深度强化学习方法，利用少量的演示数据来协助强化学习代理。作者将该方法应用于机器人操作任务并训练了端到端的视觉 - 动力学策略，直接从 RGB 相机输入到关节速度。实验结果表明，与仅使用强化学习或模仿学习训练代理的结果相比，作者的强化和模仿代理取得了显著的性能提高。此外，这些训练有素的策略在模拟到现实世界的零样本情况下也能获得初步的成功。

    Feb, 2018

  • 视觉模仿的简易实现

    本研究提出了一种基于商用机械臂的可行的、简化了数据收集过程的、能够有效采集各种复杂场景演示数据的人机互动界面，并采用了多项数据增强技术来优化模型的学习性能，最终在非捏取推动和物品堆叠等任务中获得了较高的成功率。

    Aug, 2020

  • 使用模仿学习和力控制的可普适的人机协作装配

    本文介绍了一种基于演示学习和姿态估计的人机协作装配系统，使机器人能够适应于人类操作中的不确定性，我们的实验表明，系统能成功地适应于不同的目标位置。

    Dec, 2022

  • 机器人模仿人类动作

    通过模仿学习，我们能够快速理解一个新任务，通过演示，我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法，解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息，并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成：扩散式动作分割模型用于抽象演示的时间信息，以及开放词汇对象检测器用于空间信息。此外，我们通过符号推理来改进抽象的信息，并利用逆向运动学创建行动计划，以使机器人能够模仿演示的动作。

    Jan, 2024

  • 基于云计算的层次化模仿学习：将建筑技能从人工劳动者转移至辅助机器人

    通过将重复且对人体有需求的建筑任务交给机器人，可以减少工人在职业伤害上的曝光。为了成功地将工人的巧妙而适应性的手工建筑工艺技能转移到机器人身上，我们提出了一种沉浸式云机器人虚拟演示框架，该框架数字化了演示过程，消除了对重型建筑物的重复物理操纵的需求，不仅如此，还利用了分层模仿学习（HIL）模型将人类操作技能分解为顺序和反应子技能，通过委派建筑工作的物理压力给经过人类训练的机器人，该框架促进了在建筑行业中包容具有不同体能和教育背景的工人。

    Sep, 2023

  • 多人模仿学习中的兼容演示引导

    研究通过基于人提供的演示的模仿学习来学习机器人操作策略，通过测量新演示与基本策略的兼容性并积极征求新用户的兼容演示，从而改善任务成功率。

    Oct, 2022

  • 强化学习与演示的工业装配鲁棒多模态策略：一个大规模研究

    通过与基于传统工程方法的专业工业集成器的比较，研究表明基于深度强化学习的工业装配方法不仅可以超越已有的工业装配方法，还能超越人类运动系统，并且数据说明还有巨大的优化空间。

    Mar, 2021

  • 使用低成本硬件学习精细双手操作

    我们提出了一种低成本的系统，该系统可以直接从真实演示中进行端到端模仿学习，以学习在现实世界中执行精细操作任务的方法。

    Apr, 2023