本文介绍了一种用于视觉模仿学习的简单方法，可以从一个人类演示中学习机器人操作任务，而无需先前了解与对象的交互情况，并且可以通过自监督学习进行训练。在实现过程中，该方法将模仿学习建模为状态估计问题，以目标交互开始时末端执行器的姿态作为状态，在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终，在测试时，机器人通过一条线性路径移动到预测的状态，然后简单地重放演示的末端执行器速度，从而获得了一个复杂的交互轨迹，而无需明确学习策略。在常见的 8 个任务上进行的实现结果表明，这种方法可以从单个人类演示中学习出多样的技能，并产生稳定且可解释的控制器。

May, 2021

该研究提出了一种模型无关的深度强化学习方法，利用少量的演示数据来协助强化学习代理。作者将该方法应用于机器人操作任务并训练了端到端的视觉 - 动力学策略，直接从 RGB 相机输入到关节速度。实验结果表明，与仅使用强化学习或模仿学习训练代理的结果相比，作者的强化和模仿代理取得了显著的性能提高。此外，这些训练有素的策略在模拟到现实世界的零样本情况下也能获得初步的成功。

Feb, 2018

本文提出了使用端到端的控制方法和领域随机化训练卷积神经网络，实现机器人对多阶段任务的执行。结果表明，此方法在真实环境中能够成功执行任务并推广到新环境。

Jul, 2017

我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

Oct, 2018

通过概率生成模型的优化问题，使用高容量神经网络进行可解释的演示学习任务，以高层次概念对其潜在变量进行对齐，并与末端用户标签进行比较，基于两个针对桌面机器人操作的任务（用海绵擦拭和容器之间的倾倒），验证了此方法。

Jun, 2020

本文介绍了如何利用消费级虚拟现实头显和手部追踪硬件来自然地远程操纵机器人执行复杂任务，并说明了如何使用仿真学习来学习从像素到动作的策略映射。实验展示了我们方法在视觉动作技能学习上的有效性。

Oct, 2017

本文介绍了一种基于机器学习的系统，用于仅基于视觉感知控制机器人操作器。首次展示了只从原始像素图像学习机器人控制器的能力，而不需要对配置有任何先前知识。我们建立在最近深度强化学习的成功基础之上，并开发出一种利用外部视觉观察学习三关节机器人操作器目标到达的系统。经过在仿真中的训练后，Deep Q 网络（DQN）被证明能够执行目标到达。将网络转移到真实硬件和真实观察的朴素方法失败了，但实验证明在用合成图像代替相机图像时，网络可以正常工作。

Nov, 2015

该研究介绍了一个包含双臂任务和 / 或需要细致操纵的多样化对象操作数据集，数据集包括 224k 个剧集、双臂精细任务以及语言指令，并应用于 Dual-Action and Attention (DAA) 模型，该模型在真实机器人操作任务中展示了其在细致操纵方面的能力。

Jan, 2024

本文使用自我监督的方式学习了一种紧凑的多模态表示方法，将触觉和视觉反馈结合起来，以改善高维输入控制策略的样本效率，该方法在模拟和实际机器人实验中均表现出鲁棒性和广泛泛化能力。

Oct, 2018

我们提出了一种低成本的系统，该系统可以直接从真实演示中进行端到端模仿学习，以学习在现实世界中执行精细操作任务的方法。

Apr, 2023