提出了 Cooperative Vision-and-Dialog Navigation 数据集，定义了 Navigation from Dialog History 任务，使用序列到序列模型解决人机对话中机器人导航的问题，并进一步证明历史对话越长，性能越好。

Jul, 2019

通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

Nov, 2017

本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

Mar, 2015

我们提出了一种新的混合方法，称为社交机器人规划器 (SRLM)，它将大型语言模型 (LLM) 和深度强化学习 (DRL) 相结合，以在人满为患的公共场所为人们提供多种社交服务。SRLM 通过实时人类指令推断全局规划，并将社交信息编码到基于 LLM 的大型导航模型 (LNM) 中进行低层运动执行。此外，设计了一种基于 DRL 的规划器来保持基准性能，通过大型反馈模型 (LFM) 与 LNM 融合，以解决当前文本和 LLM 驱动的 LNM 的不稳定性。最后，SRLM 在广泛的实验证明表现出色。

Mar, 2024

该研究基于新增的汉语指令，研究了即使在零样本学习的情况下，使用现有的英语指令进行训练的代理人如何有效地导航，并显示了竞争结果。

Oct, 2019

该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

Mar, 2019

本文探讨了语言输入与机器人导航系统的整合，借助符号互操作假设来连接符号认知和体验性认知的鸿沟。我们研究了将语言和语义融入神经网络和同时定位与映射方法的先前工作，突出展示了这些整合如何推进了该领域的发展。通过将抽象符号处理与感知动作基础相对比，我们提出了一个统一的框架，其中语言既作为一个抽象的交际系统，又作为感知经验的基础性表示。我们对分布语义认知模型及其应用于自主代理的审查强调了语言整合系统的转变潜力。

Apr, 2024

该研究提出了一个框架，用于在现实世界中建立交互式、实时的、自然语言指导的机器人，并开源相关资产 (数据集、环境、基准和策略)。

Oct, 2022

本文旨在研究自然语言交互与认知机器人、知识表达形式、计划工具和翻译过程的结合应用，以提高其在日常生活中的任务完成效率。

May, 2022

本文提出了一种基于语法的自然语言机器人编程框架，特别用于拾取和放置任务，其方法使用自定义的动作词词典来存储共享意义的单词，通过增加更多的动作词从词汇数据库，轻松扩展词汇量。本文通过模拟和现实世界的实验验证了我们的自然语言机器人编程（NLRP）框架，使用配备了校准相机和麦克风的 Franka Panda 机器人手臂，并将参与者要求使用口头命令完成拾取和放置任务，该任务经由 Google 的语音转文本 API 转换为文本并通过 NLRP 框架处理，以获取机器人的联合空间轨迹，该方法具有高的系统可用性得分，可以轻松扩展字典而不依赖于转移学习或大型数据集，未来我们计划通过综合用户研究比较所述框架与不同人类辅助拾取和放置任务的方法

Apr, 2023