通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

Nov, 2017

本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

Mar, 2015

本文提出了一个系统，用于生成和理解机器人交互设置中的动态和静态空间关系。机器人使用涵盖如 “跨越” 和 “在前面” 等空间关系的英语短语描述移动方块的环境。我们在机器人之间进行了系统评估，展示了该系统可以稳健处理视觉感知错误、语言遗漏和不符合语法的话语。

Jul, 2016

大型语言模型和机器人之间的映射，从语言和手动定义的意义形式表征到语言和高维向量空间之间的映射，有利于理解语言、限制学习问题规模以及提供解释性和正式安全性保证。将语言和感知数据嵌入高维空间可以避免手动指定的象征性结构，但需要更多的数据和计算进行训练，具备更广泛的适用性。本文讨论了每种方法的好处和权衡，并提供了实现两者最佳效果的未来工作方向。

May, 2024

通过深度学习使自主系统能够在感知的亚符号方式下逐渐理解对象及其环境，执行对象检测、传感器数据融合和语言理解任务。为了实现强大的人工智能，我们需要考虑人类提供的显式教学和通过观察人类行为获得的隐式教学，同时设计多模态输入和输出能力的系统以支持隐式和显式交互模型。我们提出了几个假设和设计指南，并通过相关工作的一个用例来实现这个目标。

Sep, 2023

本文研究了多模态经验、语言学习和具体到抽象的词汇发展历程，并提出了一种结合当代模型和基于词汇的模型的语义模型，并使用机器人对话系统来学习语言。

May, 2021

通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

Jun, 2017

本研究提出了 VLMaps，一种将 3D 物理世界重建与预训练的视觉语言特征直接融合的空间地图表示，其能够通过大型语言模型将自然语言命令直接转化为空间导航目标。VLMaps 能够在不需要额外标注数据的情况下自主构建，并且可以与多种类型的机器人共享，能够进行导航的同时生成新的障碍物地图。实验表明，VLMaps 可以支持人类语言含义更丰富的导航指令。

Oct, 2022

本文提出了基于具有体验认知语言学特征的表征和学习方法的自然语言理解系统架构，旨在利用隐喻推理和模拟的基础来提高自然语言理解系统的效率、可解释性和概括性。

May, 2020

该研究通过大型语言模型（LLMs）探索了空间规划和自然语言界面与导航的交叉问题。我们关注的是遵循与传统机器人指令不同、更类似于自然对话的相对复杂的指令。与先前的大多数工作不同的是，我们研究了对话交互中的隐式指令。通过利用 3D 模拟器 AI2Thor 在规模上创建复杂且可重复的场景，并通过为 40 种对象类型增加复杂的语言查询来扩充它。我们证明了通过使用 LLM 将用户交互解释为场景中对象列表的上下文，机器人能够更好地解析描述性语言查询。

Jul, 2023