本文介绍了一种用于视觉模仿学习的简单方法，可以从一个人类演示中学习机器人操作任务，而无需先前了解与对象的交互情况，并且可以通过自监督学习进行训练。在实现过程中，该方法将模仿学习建模为状态估计问题，以目标交互开始时末端执行器的姿态作为状态，在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终，在测试时，机器人通过一条线性路径移动到预测的状态，然后简单地重放演示的末端执行器速度，从而获得了一个复杂的交互轨迹，而无需明确学习策略。在常见的 8 个任务上进行的实现结果表明，这种方法可以从单个人类演示中学习出多样的技能，并产生稳定且可解释的控制器。

May, 2021

通过模仿学习，我们能够快速理解一个新任务，通过演示，我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法，解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息，并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成：扩散式动作分割模型用于抽象演示的时间信息，以及开放词汇对象检测器用于空间信息。此外，我们通过符号推理来改进抽象的信息，并利用逆向运动学创建行动计划，以使机器人能够模仿演示的动作。

Jan, 2024

我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

Oct, 2018

通过简单的人类示范，我们提出了一种既不需要大量标注图像，也不受特定几何形状限制的机器人抓取方法：利用一个小的 RGB-D 图像序列构建相关的手和物体网格模型，然后在当前环境中估计物体的姿态并转移所需的抓取指令。

Dec, 2021

通过使用 RGB-D 数据流和视觉技术，本研究提出了一种自动生成并适应新物体姿态的抓取轨迹的方法，通过将轨迹相对于物体框架进行投影，实现了在多个不同机器人设置和物体上的抓取任务的高效执行。

Oct, 2023

提出新方法 Interaction Warping 以形态扭曲技术学习单个演示的 SE (3) 机器人操作并演示其在三个目标重新排列任务中的表现，并证明在野外环境中其具有预测对象网格和机器人抓握的能力。

Jun, 2023

本文提出了一种名为 DexMV（Dexterous Manipulation from Videos）的平台和管道，用于机器人的模仿学习，从而解决复杂的手部操作任务，包括计算机视觉、逆强化学习、多传感器模式等方面。

Aug, 2021

本研究提出了一种使用元学习技术从人类视频中进行一次学习的方法，使机器人能够学习从人类示范中执行任务，无需对人类动作进行特定设计，并且在多种任务上演示了机器人实现的能力。

Feb, 2018

通过自我监督的模仿学习方法，使用自回归时空图神经网络进行辅助饮水任务，利用多样化的人体运动轨迹数据来生成适合 UR5e 机器臂的自然而又功能性的饮水运动轨迹。

Sep, 2023

通过从单个人类视频中提取以对象为中心的操纵计划并推导出条件为提取计划的策略，我们提出了一种以对象为中心的方法，为机器人学习基于视觉的操纵技能提供支持。我们的方法允许机器人从 iPad 等日常移动设备捕获的视频中学习，并将策略推广到具有不同视觉背景、摄像机角度、空间布局和新颖对象实例的部署环境中。通过对短程和长程任务进行系统评估，我们展示了 ORION 在从单个人类视频中学习开放世界中的有效性。

May, 2024