利用预训练技能约束自然语言模型以便进行真实世界的物理执行，从而实现语言驱动机器人。

Apr, 2022

该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

Mar, 2019

使用语言命令实现上下层结构分离的强化学习方法，在长期规划任务中能够有效提高任务样本效率并保持可解释性和人工干预能力。

Oct, 2021

本文研究了如何将自然语言指令转化为虚拟环境中可行的多步骤行动序列，通过实证表明，结合一定的视觉信息和上下文语境，GPT-2 模型能够成功地生成金标准语句执行序列，为基于语言的虚拟代理提供了强大的视觉语义规划模块。

Sep, 2020

该研究提出了一种名为广义接地图 (G^3) 的框架，它通过将自然语言命令的语言分析结构动态地映射到概率图模型中，实现了语言与感知特征的有效关联。该方法能够处理语言多样性，提高了可扩展性和准确性，使机器人能够学习词汇，并根据学习到的词汇跟随未经训练的用户所发出的自然语言命令。

Nov, 2017

本文提出通过使用自然语言指令和行动轨迹演示来自动分解分层任务，以解决在稀疏奖励的强化学习设置中的复杂多任务问题，并证明人类演示有助于解决最复杂的任务，同时允许该模型再未见数据的情况下推广学习，从而使训练好的代理人具有可解释的行为。

Nov, 2020

本研究提出了一种基于自然语言指令的机器人系统，通过对话解决歧义，推断出物体及其关系，能够按照用户表达的空间关系成功地放置物体，具有较好的放置效果。

Feb, 2021

对话式目标识别框架（Dialogue for Goal Recognition）通过询问关于噪声传感器数据和次优人类行动的澄清问题，使机器人能够纠正其对人类进展的信念，评估了 D4GR 在厨房和堆积领域的性能，结果显示 D4GR 框架在目标准确性方面比 HTN 高出 1%，在计划准确性方面比 HTN 高出 4-2%，比始终询问的预测模型在目标识别和计划识别方面表现更好，且比基线少问了 68% 的问题，文章还在厨房领域展示了一个真实世界机器人情景，验证了 D4GR 在现实环境中改进的计划和目标识别能力。

Oct, 2023

通过语言反馈不断改进高层策略，使机器人在复杂的、需要长程规划的任务中表现得更加出色，无需额外的远程操作。

Mar, 2024

本文介绍了一种新型的深度循环神经网络架构，通过对视频序列中人类活动的进度进行估计，间接地学习了与任务相关的语法，并使用叠加 LSTM 基于多粒度进度估计框架来学习任务语法，并证明了这种方法可以提高预测准确性，比基线的双流预测模型的准确性提高了 9% 以上，同时也优于其他竞争方案。该研究的重点在于人机交互的进展预测领域。

Sep, 2017