这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

Oct, 2020

通过使用少量语言数据，我们提出了一种联合图像和目标条件策略的方法来解决语言指示问题，该方法获得了在不同场景下进行操作任务的指令跟随表现，并具有从标记数据中外推语言指示的能力。

Jun, 2023

本论文介绍了一种名为 DIAL 的方法，利用半监督的语言标签，结合 CLIP 的语义理解，将知识传播到大型未标记的数据集中，并在增强的数据集上训练语言条件下的策略，从而使模仿学习策略获得新的能力并推广到原始数据集中未见过的 60 个新指令。

Nov, 2022

通过使用多智能体系统模拟人类沟通，本文研究语言和演示的有效性因素，结果显示在简单情境下，演示更有效，但随着难度增加，语言由于能更好地推广到未知情境中而更加有效，这为人类语言和演示作为教学模式之间的权衡提供了相互支持的证据，并对易于任务的实现使用演示以及使用语言进行更具挑战性的设置提供了新的预测。

May, 2023

本文提出了一种交互式的任务规范问题形式，通过自然语言指令和一系列语言修正来引导自主代理获得新技能，实现快速获取新技能，显著优于直接非交互式指令跟随。

Nov, 2018

通过自然语言条件化的模拟学习方法，结合像素感知、自然语言理解和多任务连续控制的神经网络，可以在无需任务或语言标签的情况下，显著提高任务成果，同时将语言注释成本降低到总数据量的不到 1％。

May, 2020

本文提出通过使用自然语言指令和行动轨迹演示来自动分解分层任务，以解决在稀疏奖励的强化学习设置中的复杂多任务问题，并证明人类演示有助于解决最复杂的任务，同时允许该模型再未见数据的情况下推广学习，从而使训练好的代理人具有可解释的行为。

Nov, 2020

本研究旨在从自然语言文本中获取信息，进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题，来提出一种有效的机器人控制学习方法，该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时，我们使用所提出的方法，成功地在机器人 CALVIN 基准测试中，超越了现有研究成果。

Apr, 2022

该研究提出了一种联合学习自然语言基础和可教授行为策略的方法，并使用叙述视觉演示（NVD）对其进行监督。通过将指导者描述映射到感知奖励探测器，训练对应的行为策略。通过实验表明，具有自然语言指导的可教授代理人可以在测试时执行涉及新对象和新位置的行为。

Apr, 2018

本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

Sep, 2021