Jan, 2024

机器人模仿人类动作

PDF
TL;DR通过模仿学习，我们能够快速理解一个新任务，通过演示，我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法，解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息，并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成：扩散式动作分割模型用于抽象演示的时间信息，以及开放词汇对象检测器用于空间信息。此外，我们通过符号推理来改进抽象的信息，并利用逆向运动学创建行动计划，以使机器人能够模仿演示的动作。
imitation learningrobot imitating humandiffusion action segmentation modelopen vocabulary object detectorsymbolic reasoning
发现论文，激发创造
  • 通过领域自适应元学习从观察人类进行单次模仿

    本研究提出了一种使用元学习技术从人类视频中进行一次学习的方法，使机器人能够学习从人类示范中执行任务，无需对人类动作进行特定设计，并且在多种任务上演示了机器人实现的能力。

    Feb, 2018

  • 一次即视视觉模仿的变形金刚

    本文介绍了一种使用神经网络和 Transformer 注意机制的方法，通过向机器人展示上下文视频来缩小机器人学习中的领域差距，并实现了对单次操作任务的 2 倍成功率提升。

    Nov, 2020

  • 扮演他人角色中的扩散：利用扩散进行机器人的视角理解

    在人形机器人中，我们引入了一种新的传播模型，该模型旨在使机器人直接从第三人称演示中学习。我们的模型能够通过转换两个视角之间的物体大小和旋转以及环境来学习和生成第一人称视角，从而充分利用易于产生的第三人称演示和易于模仿的第一人称演示的优势。该模型可以表示第一人称视角的 RGB 图像或计算关节值。在这项任务中，我们的方法明显优于其他图像到图像模型。

    Apr, 2024

  • 从单个演示到机器人操作的粗到细模仿学习

    本文介绍了一种用于视觉模仿学习的简单方法，可以从一个人类演示中学习机器人操作任务，而无需先前了解与对象的交互情况，并且可以通过自监督学习进行训练。在实现过程中，该方法将模仿学习建模为状态估计问题，以目标交互开始时末端执行器的姿态作为状态，在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终，在测试时，机器人通过一条线性路径移动到预测的状态，然后简单地重放演示的末端执行器速度，从而获得了一个复杂的交互轨迹，而无需明确学习策略。在常见的 8 个任务上进行的实现结果表明，这种方法可以从单个人类演示中学习出多样的技能，并产生稳定且可解释的控制器。

    May, 2021

  • 模仿学习的算法视角

    本论文介绍了仿真学习的基本概念、假设、方法及其算法，探究其与机器学习、控制论等领域的关系，为机器学习专家与机器人及应用人工智能专家提供知识储备与工具。

    Nov, 2018

  • 语言条件下的机器人操作任务模仿学习

    这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

    Oct, 2020

  • 通过对抗性模仿从动作捕捉学习人类行为

    本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

    Jul, 2017

  • 多人模仿学习中的兼容演示引导

    研究通过基于人提供的演示的模仿学习来学习机器人操作策略，通过测量新演示与基本策略的兼容性并积极征求新用户的兼容演示，从而改善任务成功率。

    Oct, 2022

  • 视觉模仿的简易实现

    本研究提出了一种基于商用机械臂的可行的、简化了数据收集过程的、能够有效采集各种复杂场景演示数据的人机互动界面，并采用了多项数据增强技术来优化模型的学习性能，最终在非捏取推动和物品堆叠等任务中获得了较高的成功率。

    Aug, 2020

  • 复合视觉运动任务的一次性分层模仿学习

    我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

    Oct, 2018