本文提出了一种基于自然语言的灵活性极高的人机协作接口，将大型语言模型 (BERT 和 CLIP) 的优势与轨迹信息相结合，通过多模态注意力变换实现对用户命令的编码，并将其与轨迹信息相结合。在包含机器人轨迹的数据集上进行模仿学习，并将轨迹生成过程视为序列预测问题，通过仿真轨迹实验和真实机器人实验验证了该系统的效果优异，并证明了自然语言接口在人机协作中的优越性。

Mar, 2022

本篇论文提出了一个通过深度学习技术处理自然语言和解决口语指令歧义的综合系统，旨在帮助机器人进行有效的人机交互，研究结果表明，通过建立对话式交互模型，机器人能够有效地理解和执行人类自然语言指令，并提高物体拾取任务的成功率。

Oct, 2017

我们设计了一种基于大型语言模型 (LLM) 的学习系统 OLAF，使得普通用户可以通过语音纠正教导机器人，从而更新机器人的视觉运动神经策略，以避免未来重复错误，并在实验中展示了在长期任务执行中的成功率平均提高了 20.0%。

Oct, 2023

通过自然语言条件化的模拟学习方法，结合像素感知、自然语言理解和多任务连续控制的神经网络，可以在无需任务或语言标签的情况下，显著提高任务成果，同时将语言注释成本降低到总数据量的不到 1％。

May, 2020

本文提出了一个包含自然语言描述复杂机器人任务的数据集，以期提高机器人与人类之间的互动能力，在使用多个现实图像中的可见物体来回应多方面的指令方面进行各种复杂任务的能力是解决这一挑战的关键。我们测试了多种最先进的视觉和语言导航，以及指涉表达模型来验证这项新任务的难度，但他们中没有一个显示出有希望的结果。我们还提出了一种新颖的交互式导航 - 指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但与人类表现相比仍有很大的改进空间。

Apr, 2019

本研究旨在从自然语言文本中获取信息，进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题，来提出一种有效的机器人控制学习方法，该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时，我们使用所提出的方法，成功地在机器人 CALVIN 基准测试中，超越了现有研究成果。

Apr, 2022

本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

Mar, 2015

一个互动机器人框架可以完成长期任务规划，并能在执行过程中轻松推广到新目标或不同任务。通过语言模型实现了高级规划和低级功能执行的系统，实现了对未知目标的新颖高级指令的生成，并通过仅替换任务指南来适应不同任务，而无需复杂的提示工程。此外，当用户发送新请求时，系统能够根据新请求、任务指南和先前执行步骤精确地重新规划。

Oct, 2023

该研究旨在探索将机器人与人类环境进行自然语言交互以实现无缝操作的关键挑战，通过使用多变压器模型和 BART 语言模型，我们在执行对话历史任务上取得了显著的改进，并提出了一种新的任务扩展方法通过预测游戏计划来促进任务解决。

Nov, 2023

这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

Oct, 2020