通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。

May, 2023

我们的研究旨在通过学习一种统一的基于视觉的策略，使多指机械手能够在各种姿势下操纵不同的物体。我们提出了一种新的框架 ViViDex，通过使用强化学习和轨迹引导奖励训练每个视频的基于状态的策略，从而获得视觉自然且物理可行的轨迹，并在不使用任何特权信息的情况下训练出一个统一的视觉策略，该方法通过坐标转换方法显著提升了性能，在三个灵巧操纵任务上展示出了较大的改进。

Apr, 2024

在这篇论文中，我们提出了一种视觉 - 运动策略学习框架，该框架在给定任务的人类示范中对视频扩散模型进行微调。在测试阶段，我们生成了一个以新颖场景的图像为条件的任务执行示例，并直接使用这个合成的执行结果来控制机器人。我们的主要观点是，使用常用工具可以轻松地弥合人手和机器人操作者之间的具身隔阂。我们在四个复杂度不断增加的任务上评估了我们的方法，并证明利用互联网规模的生成模型使得学习策略可以比现有行为克隆方法实现更高程度的泛化。

Jun, 2024

通过使用图像作为任务非特定的表示，编码状态和动作信息，以及使用文本作为设置机器人目标的一般表示，我们提出了一种构建视频机器人策略的方法，可以在没有使用任何动作注释的情况下，从少量视频示例中可靠地执行不同机器人和环境中的各种任务。

Oct, 2023

本文介绍了一种使用神经网络和 Transformer 注意机制的方法，通过向机器人展示上下文视频来缩小机器人学习中的领域差距，并实现了对单次操作任务的 2 倍成功率提升。

Nov, 2020

本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

Sep, 2022

本文介绍一种从指令视频中生成机器人动作序列的方法，用于实现人机协作，并展示了该方法在各种烹饪动作中的成功率达到 32%。

Jun, 2023

本研究提出了一种使用元学习技术从人类视频中进行一次学习的方法，使机器人能够学习从人类示范中执行任务，无需对人类动作进行特定设计，并且在多种任务上演示了机器人实现的能力。

Feb, 2018

本研究提出了一种基于视觉反馈的精细操作任务解决方案，结合第三人称相机和机器人手腕上的自我中心相机的可视化反馈，使用 Transformers 跨视图关注机制来有效融合两个视图的信息，并将其作为强化学习策略的输入。实验结果表明，该方法相对于基线（single-view, multi-view）有明显的学习优势，并能够成功地转移到具有不稳定摄像头、无状态信息和高任务变异度的实际机器人操作任务中。

Jan, 2022

本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

Oct, 2016