Jul, 2023

多阶段电缆布线的层次化模仿学习

PDF
TL;DR研究多阶段机器人操纵任务的学习问题，应用于电缆布线，其中机器人必须通过一系列的夹子将电缆线路引出。通过使用基于视觉的策略训练的模仿学习系统，在较低（电机控制）和较高（排序）层面上描述了此方法，展示了在非常具有挑战性的夹子放置变化中普遍性能。
multi-stage robotic manipulationcable routingdeformable objectsimitation learning systemclip placement variations
发现论文，激发创造
  • 复合视觉运动任务的一次性分层模仿学习

    我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

    Oct, 2018

  • 使用低成本硬件学习精细双手操作

    我们提出了一种低成本的系统，该系统可以直接从真实演示中进行端到端模仿学习，以学习在现实世界中执行精细操作任务的方法。

    Apr, 2023

  • 使用远程遥操作的人在循环中模仿学习

    本文介绍使用干预性策略学习的方法来解决机器人操作任务中必须经过精确定序的地方的问题，提出一种 6 自由度机器人操作任务的数据采集系统，并开发了一个简单而有效的算法来收集新数据以遍历通过这些难点，使用干预策略学习的代理在机器人的线路穿线任务和制造咖啡任务中的表现优于其他多种基线算法。

    Dec, 2020

  • 结合自监督学习和模仿技巧实现基于视觉的绳索操作

    这篇论文提出了一种基于学习的系统，通过自监督学习从图像中学习绳索操纵的像素级逆动力学模型，并使用高低级计划成功地模仿人类示范，将可变形物体如绳索和布料进行操纵。

    Mar, 2017

  • 基于端到端演示学习的基于视觉的廉价机器人多任务操作

    以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

    Jul, 2017

  • 从仿真到现实世界的端到端视觉运动控制传递，用于多阶段任务

    本文提出了使用端到端的控制方法和领域随机化训练卷积神经网络，实现机器人对多阶段任务的执行。结果表明，此方法在真实环境中能够成功执行任务并推广到新环境。

    Jul, 2017

  • JUICER: 数据高效的机器人装配模仿学习

    本文提出了一种在小规模人类示范预算下改善模仿学习性能的流程，并将其应用于需要高精度和长视程操作的装配任务，通过结合表达能力强的策略架构和数据集扩展与基于仿真的数据增强等技术来扩展数据集支持并在高精度要求的瓶颈区域附近监督模型的局部纠正动作，实现了在仿真环境中进行四个家具装配任务并直接从 RGB 图像中组装多达五个零件，性能超过了模仿学习和数据增强的基线。

    Apr, 2024

  • 分层解耦控制器的第三人称视觉模仿学习

    研究对象学习通用设置，构建代理可从第三人称的视频中学习并操作未见过的物体，通过分层式结构实现，高级模块生成子目标序列，低级控制器实施，无需完整状态信息，实验展示在 Baxter 机器人上完成倒和放置物体等操作。

    Nov, 2019

  • 基于云计算的层次化模仿学习：将建筑技能从人工劳动者转移至辅助机器人

    通过将重复且对人体有需求的建筑任务交给机器人，可以减少工人在职业伤害上的曝光。为了成功地将工人的巧妙而适应性的手工建筑工艺技能转移到机器人身上，我们提出了一种沉浸式云机器人虚拟演示框架，该框架数字化了演示过程，消除了对重型建筑物的重复物理操纵的需求，不仅如此，还利用了分层模仿学习（HIL）模型将人类操作技能分解为顺序和反应子技能，通过委派建筑工作的物理压力给经过人类训练的机器人，该框架促进了在建筑行业中包容具有不同体能和教育背景的工人。

    Sep, 2023

  • 基于深度模仿学习的虚拟现实远程操作复杂操纵任务

    本文介绍了如何利用消费级虚拟现实头显和手部追踪硬件来自然地远程操纵机器人执行复杂任务，并说明了如何使用仿真学习来学习从像素到动作的策略映射。实验展示了我们方法在视觉动作技能学习上的有效性。

    Oct, 2017