本研究开发了一个交互式真实仿真平台 “Help, Anna!”（HANNA），其中一个代理可通过请求和解释自然语言和视觉援助来完成物体寻找任务，解决 HANNA 问题，我们开发了一种记忆增强的神经代理和一种以模仿学习为基础的算法，通过有效地询问帮助，并同时预测自己未来的进展的机会，来比其他竞争基线更有效地避免重复错误，从而在以前看到和以前没看到的环境中获得更高的任务成功率。

Sep, 2019

本文提出递归心智模型 (Recursive Mental Model，RMM)，通过两个智能体的对话交互，其中一个询问问题，另一个给予回答，模拟类比人类对话，通过 RMM 可以更好地应对新的环境变化，为人机对话提供新思路。

May, 2020

提出了 Cooperative Vision-and-Dialog Navigation 数据集，定义了 Navigation from Dialog History 任务，使用序列到序列模型解决人机对话中机器人导航的问题，并进一步证明历史对话越长，性能越好。

Jul, 2019

提出了一种利用场景图生成和常识知识的架构来检测用户隐含需求并生成一组辅助动作的方法，同时也使用情感分析来解决任务，实现了感知、决策、动作循环的嵌入。

Feb, 2022

导航和语言导航的现有研究主要依赖于导航相关的损失，以建立视觉和语言模态之间的联系，忽视了帮助导航代理机构建立对视觉环境的深入理解的方面。在我们的工作中，我们通过提示生成器为导航代理提供间接监督，提供详细的视觉描述。提示生成器帮助导航代理机构开发对视觉环境的整体理解，指导代理机构注意相关的导航细节，包括相关的子指导、识别的潜在挑战和限制、以及目标视点描述。为了训练提示生成器，我们根据指导中的地标和可见的与众不同的物体构建了一个合成数据集。我们在 R2R 和 R4R 数据集上评估了我们的方法，并在几个度量标准上取得了最先进的结果。实验结果表明，生成提示不仅提高了导航性能，还有助于提高代理机构行动的可解释性。

Feb, 2024

提出了一种基于强化学习的个性化导航系统，根据不同视力障碍者的个人特点和行动能力，通过权重专家模型逐步调整系统用户交互体验，实现更精准的长期行为预测和快速适应性学习。

Apr, 2018

本研究提出了一种基于 READER 的对话操作引导加强型对话生成模型，用于基于虚拟心理健康助手的辅助心理咨询对话，该模型在对话 - 操作引导下能够生成更具语义丰富度的反应，经过了对多种评估方法的考察，表现优异。

Jan, 2023

本文提出了一个交互式学习框架以及多种学习方法应对视觉和语言导航任务中出现的模糊情况，引入强化学习并设计奖励塑形项使智能体仅在必要时提问，同时展示了持续学习策略的有效性。

Dec, 2019

通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

Nov, 2017

通过简单的文本提示、当前观察和历史收集模型，我们的方法在视觉导航中对大型语言模型进行了精细调优，训练模型使用了来自 Habitat-Matterport 3D 数据集（HM3D）的人类示范和碰撞信号，实验结果表明我们的方法优于最先进的行为克隆方法并有效地降低了碰撞率。

Oct, 2023