本文提出了一个计算模型来处理在机器人交互设置中发生的动态空间关系，并演示了该模型将计算认知语义和普通空间表征以及推理的两个研究领域相结合的效果。

Jul, 2016

我们针对导航问题进行研究，提出了一种使用空间语义元素的神经代理导航模型，并探究了它们对导航代理的推理能力的影响。研究结果表明，指令中显式建模空间语义元素可以改善模型的基础和空间推理能力，并在已见及未见环境上取得了竞争性的性能。

May, 2021

本论文提出一种文本条件化的关系网络模型，通过跨模态的注意力机制动态计算参数以捕获实体之间的精细空间关系，从而实现对文本中空间参照的理解，具有可解释性和鲁棒性，在三个任务中实现了 17% 和 15% 的表现改进，从而解决了在自主导航和机器人控制中学习空间概念表示的关键挑战。

May, 2020

本研究的目标是针对空间问题回答，在一个多模态人机交互的流程中，使用视觉系统、语音输入输出系统、基于图像解释的对话管理器和 3D 空间建模，进而实现语义解释、约束求解和视觉解析等组件的整合。该系统能够将空间问题映射为逻辑问题，使用图式表示方法实现对话管理，并得到与人类感知相一致的空间问题答案。

Nov, 2019

该研究介绍了一种基于持久化空间语义表达的方法，旨在通过实现分层推理，实现机器人代理人执行自然语言指定的长期任务，获得了 ALFRED 测试中最先进的表现。

Jul, 2021

该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

Mar, 2019

该研究通过大型语言模型（LLMs）探索了空间规划和自然语言界面与导航的交叉问题。我们关注的是遵循与传统机器人指令不同、更类似于自然对话的相对复杂的指令。与先前的大多数工作不同的是，我们研究了对话交互中的隐式指令。通过利用 3D 模拟器 AI2Thor 在规模上创建复杂且可重复的场景，并通过为 40 种对象类型增加复杂的语言查询来扩充它。我们证明了通过使用 LLM 将用户交互解释为场景中对象列表的上下文，机器人能够更好地解析描述性语言查询。

Jul, 2023

本文探讨了语言输入与机器人导航系统的整合，借助符号互操作假设来连接符号认知和体验性认知的鸿沟。我们研究了将语言和语义融入神经网络和同时定位与映射方法的先前工作，突出展示了这些整合如何推进了该领域的发展。通过将抽象符号处理与感知动作基础相对比，我们提出了一个统一的框架，其中语言既作为一个抽象的交际系统，又作为感知经验的基础性表示。我们对分布语义认知模型及其应用于自主代理的审查强调了语言整合系统的转变潜力。

Apr, 2024

本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

Mar, 2015

利用大规模视觉语言模型评估其在不同视觉推理任务中的性能，特别是在理解空间关系方面的能力的研究。通过细粒度的组合性先验来解决空间关系推理任务的评估和排名，结合物体及其位置的核心语义来计算空间子句的最终评分，并比较不同视觉语言模型在空间关系推理方面的能力。

Aug, 2023