通过基础模型作为教师，我们提出了一个框架，指导一个强化学习代理获取语义有意义的行为，而无需人类反馈。在我们的框架中，代理从大型语言模型中接收在训练环境中基于任务的指令。然后，一个视觉 - 语言模型通过提供奖励反馈来引导代理学习多任务的语言条件化策略。我们证明了我们的方法在具有挑战性的开放式 MineDojo 环境中可以学习语义有意义的技能，而之前的无监督技能发现方法则困难重重。此外，我们讨论了使用现成的基础模型作为教师所面临的挑战，并介绍了我们的努力来解决这些挑战。

Dec, 2023

本文介绍了如何使用概率建模与信息结构约束相结合的方法来学习行为先验，并将其有效地整合到强化学习框架中，以实现多任务与转移学习。最后通过在一系列仿真连续控制域上的应用来展示该框架的有效性。

Oct, 2020

基于对代理与基础模型互动模式的分类和对该模式的扩展架构提出的综述性论文，为实现基础模型在实际人工智能系统中的潜力提供了指导。

Feb, 2024

通过学习结构化表示并利用方向性移动跨越学习的潜在空间，我们提出了一种新的无监督框架，用于从无标签的离线数据中预训练能够捕捉多样化、最优且长程行为的通用策略，并可以在零样本方式下快速适应任意新任务。在模拟机器人的运动和操作基准测试中的实验证明，我们的无监督策略可以以零样本的方式解决目标有条件的和通用 RL 任务，甚至经常优于针对每个场景专门设计的先前方法。

Feb, 2024

使用强化学习作为对基础模型的控制的框架，通过生成小而专注的合成支持集来增强神经网络模型在真实数据分类任务上的性能，而无需额外的标记或数据成本。

Apr, 2024

本论文提出了一种用于预训练行为先验的方法，以便捕捉先前看到的各种任务中观察到的复杂输入输出关系，并展示了如何使用这种学习到的先验以便快速学习新任务，有效地解决了具有挑战性的机器人操纵领域中的问题。

Nov, 2020

通过在强化学习代理中嵌入和利用语言模型和视觉语言模型的能力，我们设计了一个框架，将语言作为核心推理工具，能够处理一系列强化学习挑战，如有效的探索、重用经验数据、调度技能以及从观察中学习，从而改进了在模拟的机器人操作环境中的性能，并展示了如何利用学到的技能解决新任务或模仿人类专家视频。

Jul, 2023

本文提出了一种基于 CLIP 的内在奖励，该奖励可以驱动强化学习任务中的探索，进而帮助学习者实现对世界的语义理解与认知，实验表明该方法在处理稀疏奖励、复杂的过程生成任务上比现有方法表现更优异。

Nov, 2022

本文提出了一种基于语言根据分割掩模的新型范例，来应对日常情况下一系列的抓取和放置机器人操作任务，通过将从掩模中传达的精确语义和几何形状与我们的多视点策略模型相结合，使我们的方法能够感知准确的物体姿态并实现样本高效学习。

Jun, 2023

本篇论文研究了如何预训练模型，并使其成为下游任务学习的可重复使用的通用架构。我们提出了一种构建代理 - 环境交互模型的方法，通过学习代理在各种任务中获得的域不变的后继特征并将其离散化为行为原型，建立了一个带有身体结构的模型。为了使模型成为下游任务学习的通用架构，我们提出了两种方法：（1）身体特征投影，通过将新任务的观察 - 动作对映射到身体结构中保留以前的知识；（2）投影贝尔曼更新，在新任务环境中增加学习可塑性。我们的初步研究结果表明，基于经过预训练的身体结构的下游任务学习可以处理任务目标、环境动态和传感器模式中的未知变化。

Nov, 2022