该研究旨在创建一个交互式、自然语言接口，通过学习用户在模拟机器人环境中完成任务。该接口引入了一种神经语义解析系统，通过分解学习新的高层抽象：用户通过将描述新行为的高层话语分解为它可以理解的低级步骤来与系统互动。作者的方法弥合了现有方法之间的差距，并证明了现代神经系统的灵活性以及基于语法的方法具有的一次可靠泛化能力。研究还讨论了实现交互式范式的潜力的障碍。

Oct, 2020

对于基于语言模型目标在大规模纯文本数据上进行训练的几种机器学习模型，在许多自然语言理解和生成任务上取得了令人印象深刻的结果。然而，对于语义的许多方面，仅仅通过 “倾听收音机” 是无法学习到的。本文系统地回顾了视觉 + 语言领域中提出的多个任务和模型。利用维特根斯坦的 “语言游戏” 思想，将这些任务分为 3 个不同的类别：1）区分性游戏，2）生成性游戏，和 3）交互式游戏。我们的文献分析提供了证据，表明未来的工作应该专注于重要的交互式游戏，在其中自然语言的交流对于解决关于物体指称和行动计划的不确定性是必要的，而物理体现则是理解场景和事件语义的重要条件。作为总体，这些是发展基于神经模型的扎根意义的关键要求。

Dec, 2023

采用 Deep Recurrent Q-Networks 框架和基于情境互动的交流为主要驱动力，让多个智能体在 Guess Who? 游戏中进行交互式图像搜索，实现了基于物理概念的单词编码，以及多步骤对话能力的学习。

Nov, 2016

本文提出一种集成模仿学习和强化学习的方法，通过交互式对话游戏实现基于场景的语言学习，使得智能代理能够主动提问新事物并在一次对话中将新知识应用于实践。实验结果证实了该方法的有效性。

Apr, 2018

通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

Jun, 2017

本文讲述如何通过核心编程语言并允许用户自然地增量定义替代语法和越来越复杂的概念来创建方便的自然语言接口，以在类似于分析数据、操作文本和查询数据库等复杂的任务中实现与编程语言同等的能力。作者在一个体素世界中展示了一个用户社区可以同时教授一个共同系统各种不同的语言，并用它来构建数百个复杂的体素结构的例子。三天内，这些用户从只使用核心语言到 85.9％的后 10K 个语句中使用自然化语言。

Apr, 2017

本文探讨了计算机与程序员所涉及的类似语言应用程序所涉及的模式，并旨在调整我们的问题以更好地说明上下文、自我意识和具体化。

Apr, 2016

本文提出一种通用的情境语言学习范式，旨在设计可靠的语言代理以能够与人类进行成功的合作。

Oct, 2016

本文提出了一种基于多智能体交互通信的语言学习框架，在指代游戏的上下文中研究了这种学习方法，通过联系人工智能代理人彼此通信以识别随机图像，在通过调整游戏环境来提高代理人交流的自适应语言结构，并为代理人的代码提出简单的系统，从而使其更好地恰当地通信，并能更有效地与人类沟通。

Dec, 2016

基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

Jan, 2018