本文提出了一种基于多智能体交互通信的语言学习框架，在指代游戏的上下文中研究了这种学习方法，通过联系人工智能代理人彼此通信以识别随机图像，在通过调整游戏环境来提高代理人交流的自适应语言结构，并为代理人的代码提出简单的系统，从而使其更好地恰当地通信，并能更有效地与人类沟通。

Dec, 2016

对于基于语言模型目标在大规模纯文本数据上进行训练的几种机器学习模型，在许多自然语言理解和生成任务上取得了令人印象深刻的结果。然而，对于语义的许多方面，仅仅通过 “倾听收音机” 是无法学习到的。本文系统地回顾了视觉 + 语言领域中提出的多个任务和模型。利用维特根斯坦的 “语言游戏” 思想，将这些任务分为 3 个不同的类别：1）区分性游戏，2）生成性游戏，和 3）交互式游戏。我们的文献分析提供了证据，表明未来的工作应该专注于重要的交互式游戏，在其中自然语言的交流对于解决关于物体指称和行动计划的不确定性是必要的，而物理体现则是理解场景和事件语义的重要条件。作为总体，这些是发展基于神经模型的扎根意义的关键要求。

Dec, 2023

研究算法在学习语言进化中起到的作用，通过深度学习方法和 RL 神经网络代理进行了提高，并开发出代理能够从原始像素数据中学习的能力，研究表明输入数据中的结构程度影响出现的协议的性质，并证实当代理感知到世界的结构时，结构化的组合性语言很可能会出现。

Apr, 2018

本文介绍了 INGRESS，它是一个机器人系统，能够按照自然语言指示拾取和放置日常物品，并使用神经网络模型的两个阶段来进行对象引用和消岐。

Jun, 2018

本文研究了视觉指代游戏中深度学习中所学习的表示中的解缠，组合性及系统性之间的关系，并提出了一个基于 Obverter 架构的视觉指代游戏实现了更好的解缠表现。同时，作者还拓展了位置解缠和互信息差解缠指标，以更好地区分不同种类的组合语言，并研究了零样本组合学习测试量是否与先前提出的解缠和组合性指标之一相关联。

Apr, 2023

采用 Deep Recurrent Q-Networks 框架和基于情境互动的交流为主要驱动力，让多个智能体在 Guess Who? 游戏中进行交互式图像搜索，实现了基于物理概念的单词编码，以及多步骤对话能力的学习。

Nov, 2016

通过深度学习方法研究自然语言处理，通过训练紧密连接的编码器 / 解码器，在传统的指示语言环境和对比学习环境中开发了一个专用于视觉数据表示的私有语言，并且通过神经机器翻译和随机森林分类的分类层将符号表示转化为类别标签。通过两个实验，旨在进行物体识别和动作识别，研究了从真实图像中生成的草图以及从 3D 运动捕获系统生成的 2D 轨迹，通过梯度加权类激活映射（Grad-CAM）方法和 t-SNE 方法解释了学习到的符号和嵌入。

Sep, 2023

该论文探讨了 “语言基础” 这一挑战，旨在通过将语言绑定到真实世界的参照物中来完全理解自然语言。该研究提供了三个贡献，分别为：a）分析了人工智能技术、数据集和用户界面等方面的语言基础研究概述；b）提出并实证了与语言基础相关的六个假设的信任因素，该实验是在人机清洁组中进行的；以及 c）探讨了信任语言基础的未来研究方向。

Sep, 2022

本文提出了使用深度强化学习进行训练的带有通信能力的智能体在同时进行一系列指称游戏的计算框架，证明了框架反映了自然语言中观察到的语言现象，即语言演化的复杂属性可以不依赖于复杂的语言能力而是可以从视觉感知智能体之间的简单社交交流中产生。

Jan, 2019

通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

Jun, 2017