该研究提出了一个灵活的基于语言的框架，使用自然语言输入和场景图像处理机器人运动指令，通过预先训练的语言模型和变压器编码器网络生成目标几何特征，然后使用变压器解码器生成轨迹，无需任何先验知识。在复杂环境下，仿真和实际实验表明，该系统可以成功地跟随人类意图，修改轨迹的形状和速度。

Aug, 2022

本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

Sep, 2022

该研究提出了一个框架，用于在现实世界中建立交互式、实时的、自然语言指导的机器人，并开源相关资产 (数据集、环境、基准和策略)。

Oct, 2022

本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

Mar, 2015

本文介绍了一种算法，通过深度神经网络学习将点云、自然语言和操作轨迹数据嵌入到共享的嵌入空间，并应用于机器人操作中，取得了较高的精度和推理时间改善。

Sep, 2015

该研究提出了一种导航指南模型，使机器人能够生成自然语言指令，帮助人们在事先未知的环境中进行导航，该模型使用人类演示数据通过反向强化学习训练决策策略，并通过神经序列到序列模型从自然语料库中生成自由形式的语句，实验测评表明，在与人类参考指令进行比较时，该方法获得了 72.18% 的 BLEU 分数，并且缩小了人类与机器人交互时的差距。

Oct, 2016

通过自然语言条件化的模拟学习方法，结合像素感知、自然语言理解和多任务连续控制的神经网络，可以在无需任务或语言标签的情况下，显著提高任务成果，同时将语言注释成本降低到总数据量的不到 1％。

May, 2020

该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

Mar, 2019

一个互动机器人框架可以完成长期任务规划，并能在执行过程中轻松推广到新目标或不同任务。通过语言模型实现了高级规划和低级功能执行的系统，实现了对未知目标的新颖高级指令的生成，并通过仅替换任务指南来适应不同任务，而无需复杂的提示工程。此外，当用户发送新请求时，系统能够根据新请求、任务指南和先前执行步骤精确地重新规划。

Oct, 2023

该研究论文介绍了一个框架，可以解释人类包含时间元素的导航指令，并直接将其自然语言指令转化为机器人的运动规划。

Apr, 2024