利用深度模型学习中间视觉表示的抽象能力来从少量的演示序列中快速推断知觉奖励函数，以便在真实世界环境中使用强化学习智能体执行任务。

Dec, 2016

本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

Sep, 2021

本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

Sep, 2022

本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。

Oct, 2022

使用基于学习的奖励函数（LRFs）作为解决稀疏奖励强化学习（RL）任务的手段已经在任务复杂性方面取得了一些稳定的进展。本文提出了一种将LRFs作为RL的预训练信号的方法，即$ extbf{LA}$nguage Reward $ extbf{M}$odulated $ extbf{P}$retraining (LAMP)，其利用Vision-Language Models (VLMs)的零样本能力作为RL的预训练工具，而不是作为下游任务奖励。通过计算大量语言指令与代理器环境中的图像观察之间的对比对齐，LAMP使用冻结的预训练VLM生成嘈杂但有形状的探索奖励。LAMP与强化学习中的寻求新颖性的探索奖励一起优化这些奖励，以获得受语言条件约束的预训练策略。我们的VLM预训练方法与以前使用LRFs的方法不同，可以在RLBench的机器人操作任务上启动样本效率高的学习。

Aug, 2023

使用预训练的视觉语言模型作为无样本奖励模型以指定任务，通过单个句子文本提示训练MuJoCo仿真人完成复杂任务，表明未来的视觉语言模型将在广泛的强化学习应用中成为更加有用的奖励模型。

Oct, 2023

利用开放词汇泛化的方法，本文提出了MOKA（标记开放词汇关键点可利用性）来使用视觉语言模型解决由自由形式语言描述的机器人操作任务，通过在图像上注记关键点和航点的预测，将问题转化为视觉问答问题，并通过上下文学习和策略精炼提升性能，验证并分析了MOKA在以自由形式语言描述的各种操纵任务中的表现，如工具使用、可塑性物体操作和物体重新排列。

Mar, 2024

通过提出一个包含15个不同操纵任务的综合基准测试，该论文引入了一个以人类语言指令为基础的家庭助理机器人感知和操作多种3D物体的重大挑战，并通过建立一个新的学习框架逐步完成操纵任务。

Mar, 2024

大型语言模型在完成各种语言处理任务方面很成功，但在生成适当的控制序列时很容易与物理世界互动失败。我们发现主要原因是LLM没有与物理世界紧密连接。与现有基于LLM的方法相比，我们旨在解决这个问题，并探索在无训练范式下促使预训练LLM完成一系列机器人操作任务的可能性。为了将这些计划和控制序列与物理世界联系起来，我们开发了促使技术，通过刺激LLM来预测生成计划的后果并为相关对象生成可供性值。实验证明，LLM+A在各种语言条件下的机器人操作任务中的有效性，显示了我们的方法通过增强生成计划和控制的可行性来显著提高性能，并能够轻松推广到不同的环境。

Apr, 2024

基于视频-语言评论家的奖励模型，可以在现有的跨体现数据上进行训练，使用对比学习和时间排序目标，对来自单独强化学习执行者的行为轨迹进行评分。在Meta-World任务中，通过在Open X-Embodiment数据上训练奖励模型，实现了比仅稀疏奖励模型更高效的策略训练，尽管存在显著的领域差异。使用Meta-World上的具有挑战性任务推广设置的领域数据进一步证明，相比先前使用二元分类训练的语言条件奖励模型，静态图像或不利用视频数据中的时间信息，我们的方法实现了更高效的训练。

May, 2024