通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。

May, 2023

该研究探索了如何利用半监督式模仿学习的方法，在游戏领域中通过预训练行为先验模型来实现强化学习，从而达到人类甚至更高的行为水平。

Jun, 2022

本文提出了一种名为 PPGeo 的全自监督框架，通过对大规模不加标定、未标注的 YouTube 自驾视频建模，学习有关 visuomotor driving 的方针表示，从而解决样本不足和决策信息过剩等问题，并在多方面挑战性场景下取得了较大的改进。

Jan, 2023

本文介绍了一种通过生成式预训练学习得到的视觉表示，用于有效地加速并提高多种任务下视觉增强学习系统性能和效率的框架。我们在视频数据上预训练了一个无动作潜在视频预测模型，并将这些表示用于未知环境下的学习操作条件下的世界模型。我们还引入了一个新的架构，该架构在预训练的无动作预测模型的基础上堆叠了一个动作条件潜在预测模型，以更好地实现探索。同时也提出了基于视频的内在激励奖励机制，利用预训练表示的优势，有效提升了数据利用率和最终权能的完成度。

Mar, 2022

本文提出了一种基于高层指令输入的条件性模仿学习方法，使得经过训练的车辆在测试时间内仍然能够遵循导航指令，本文在仿真实验和机器人卡车实验中对各种条件性模仿学习架构进行了评估和实践。

Oct, 2017

在这篇论文中，我们提出了一种视觉 - 运动策略学习框架，该框架在给定任务的人类示范中对视频扩散模型进行微调。在测试阶段，我们生成了一个以新颖场景的图像为条件的任务执行示例，并直接使用这个合成的执行结果来控制机器人。我们的主要观点是，使用常用工具可以轻松地弥合人手和机器人操作者之间的具身隔阂。我们在四个复杂度不断增加的任务上评估了我们的方法，并证明利用互联网规模的生成模型使得学习策略可以比现有行为克隆方法实现更高程度的泛化。

Jun, 2024

利用人类视频进行预训练，通过有限的机器人演示来转移知识，实现机器人策略学习的通用性体现。

Feb, 2024

该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

Jan, 2022

研究表明，预训练的视觉表示方法对于控制任务的学习同样有效，甚至在某些情况下可以优于基于真实状态的表示方法，而这些预训练模型仅需要使用标准视觉数据集，而不需要在目标环境中使用真实数据。

Mar, 2022

研究使用视频数据进行决策预训练表示学习，讨论两种情景：观察中的独立同分布噪声和存在外部噪声的困难情景，验证了在不同情境中学习表征方法的样本复杂度和性能表现。

Mar, 2024