本研究提出了一种基于 LED-Bert 结构的 Localization via Embodied Dialog 方法，使用基于图的场景表示来预测观察者在地图上的最终位置，实验结果表明该方法优于之前的基准方法。

Oct, 2022

DiaLoc 是一种新的基于对话的定位框架，通过迭代细化位置预测来可视化每次对话后的当前姿态，有效地利用多模态数据进行分步定位。DiaLoc 在单次拍摄（ValUnseen 准确率 + 7.08%）和多次拍摄（ValUnseen 准确率 + 10.85%）设置中取得了最先进的结果，缩小了模拟与实际应用之间的差距，为未来的协作定位和导航研究打开了新的大门。

Mar, 2024

本文介绍了一项新的 AI 任务 -- 实体问答（EmbodiedQA），其中智能体在随机位置生成于 3D 环境中，通过主动感知、语言理解、目标导向的导航、常识推理和语言行动化等一系列 AI 技能完成问答任务，同时我们也开发了 EmbodiedQA 环境、端到端训练的强化学习智能体和评估协议。

Nov, 2017

该研究提出一种名为 ELBA 的模型，以增强具有互动人类能力的代理，通过问答实现动态获取附加信息，以提高任务完成性能，并在 TEACH 视觉对话导航和任务完成数据集上进行了评估。

Feb, 2023

当前的视觉说明模型假设图像是完整呈现场景的完美捕捉，然而在真实世界场景中一个图像可能没有提供良好的视角，从而限制了对细粒度场景的理解。为了克服这一限制，我们提出了一项名为 “实体说明” 的新任务，将视觉说明模型与导航能力相结合，使其能够主动探索场景，并减少来自次优视角的视觉模糊。我们构建了一个包含 10K 个混乱物体的 3D 场景和每个场景三个注释段落的 ET-Cap 数据集，以支持该任务。我们提出了一个级联实体说明模型（CaBOT），它由导航器和说明器组成，用于处理这个任务。广泛的实验证明我们的模型优于其他精心设计的基线模型。我们的数据集、代码和模型可在此链接获得。

Aug, 2023

介绍了一种被称为 Loci 的自监督位置和身份追踪系统，通过处理分离的 “何处” 和 “何物” 的槽状编码解决了绑定问题，可以从视频流中有效地提取对象并将其分离成位置和整体组件，从而在概念层面上促进了有效的规划和推理。

May, 2022

通过使用 SLAM 技术的设备，本研究探讨了如何通过主动的视觉定位来克服视角变化的挑战，并提出了一种新颖的数据驱动方法，与现有方法相比在控制模拟实验和实际部署中展现出更高的性能。

Oct, 2023

引入了第一个基于行动和知觉的大规模对话数据集 “Talk The Walk”，围绕游客定位的任务引入了创新的机制：Masked Attention for Spatial Convolutions (MASC)，通过该机制，游客和导游之间的对话得到了显著改善，并且在完整任务中建立了非平凡的基线。

Jul, 2018

本研究介绍了一种利用自由可得的地图数据和语义线索构建的概率模型，从而实现精准的自我定位，该方法比忽略语义信息的竞争方法具有更快的定位速度，更少的计算和更强的鲁棒性。

Jun, 2016

在 Matterport 3D 等实景环境中，通过实例化大规模导航任务，我们研究了利用 3D 点云或 RGB 图像或它们的组合进行导航的方法，发现前进或随机这两种相对简单的导航方法强且难以超越，同时点云对于学习避免障碍提供了更丰富的信号。我们发现一种称为变曲点权重技术对于用于行为克隆的循环模型训练导航非常重要，并且能够使用此技术胜过基线。这一结果为继续研究基于 3D 深度学习模型的体式导航提供了动力。

Apr, 2019