本文介绍了一个大规模的众包文字冒险游戏作为研究平台，用于研究基于场景的对话。在其中，代理可以感知，表情和行动，同时与其他代理进行对话。我们介绍了在这种情况下训练最先进的生成模型和检索模型的结果。我们展示了除了过去的对话，这些模型还能够有效地使用潜在世界的状态来调整它们的预测，特别是使用本地环境的详细信息，包括位置描述和其中存在的对象（及其可用性）和角色（及其先前的行动），可以更好地预测代理行为和对话。我们分析了在这种设置中成功落地所需的要素，以及每个因素如何与能够成功说话和行动的代理相关。

Mar, 2019

本研究采用语言建模方法，在 Minecraft 数据集的协作建筑任务中进行多模态任务理解和任务导向对话理解任务，以提高 AI 系统的语感，实现更好的人机互动。实验结果表明，我们的方法具有更大的优势和应用潜力。

Jun, 2023

本篇论文研究了通过导航和空间推理任务共同推理语言和视觉的问题，介绍了 Touchdown 任务和数据集，通过真实的城市环境中的导航指令和自然语言来寻找隐藏在目标位置的物体。数据集包含 9,326 个英文指令和空间描述的示例，经验性分析表明，数据对现有方法提出了开放性的挑战，定性的语言分析表明，与相关资源相比，数据利用了更丰富的空间推理。

Nov, 2018

提出了 Cooperative Vision-and-Dialog Navigation 数据集，定义了 Navigation from Dialog History 任务，使用序列到序列模型解决人机对话中机器人导航的问题，并进一步证明历史对话越长，性能越好。

Jul, 2019

本研究针对真实而密集的城市地图，基于 Amazon Mechanical Turk 平台数据，提出了一个解释自然语言导航指令的实验任务，根据实验结果，表明实体抽象、关注单词和环境、以及不断更新世界状态等神经构架方面对任务准确性有重要影响。

Sep, 2019

本文介绍一种基于神经网络的端到端可训练的目标导向对话系统，以及一种新的数据收集方法，该方法基于一种新型的管道式 Wizard-of-Oz 框架。该方法可用于开发对话系统，帮助用户在餐厅搜索领域自然地交流并完成任务。

Apr, 2016

研究通过数据驱动和端到端的方法，使用 TicketTalk 数据集和基于神经网络的预训练模型构建了一个可以实现近乎人类级别回应质量和 API 调用准确性的交易对话系统，并通过预训练提高了系统的 API 预测和响应生成得分.

Dec, 2020

通过人类用户和人类导师之间的自然互动，我们创建了一个名为 WTaG 的多模态基准数据集，进而提出了用户与环境理解以及导师决策两个任务。我们利用多个基础模型研究这些模型在感知引导任务中可以快速适应的程度，并通过定量、定性和人工评估结果显示，这些模型在某些情况下可以表现出公正的性能，但快速可靠的适应仍然是一个重大挑战。我们的基准数据集和基线将为未来研究提供一个起点。

Nov, 2023

基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

Jan, 2018

本文提出了一个包含自然语言命令的自主驾驶汽车对象引用数据集，并与相关数据集进行了比较以及使用强大的最新模型进行了表现分析，该对象引用任务对于模型仍需要自然语言处理、计算机视觉以及这些领域的交叉研究进行进一步的研究。

Sep, 2019