MMNov, 2019

避免使用 hash，并在引用的新兴语言游戏中鼓励视觉语义

PDF
TL;DR本研究考虑了 Havrylov 和 Titov 的信令游戏设置，并研究了特征提取器的权重和解决的任务对模型所学习或捕捉的视觉语义的影响。通过对输入图像的各种增强和游戏中的附加任务的引入，实现了在完全自监督的情况下学习捕捉图像概念属性的视觉表征的通信系统。
emergent communicationsignalling gamevisual semanticsself-supervised learningconceptual properties
发现论文，激发创造
  • 智能体视角下的视觉表征：一种新兴语言游戏研究

    探究 Lazaridou 等人（2017）的指称游戏中，代理人在相互作用过程中建立起的视觉表示，结果发现代理人成功建立沟通是通过引导几乎完全一致的视觉表示来实现的，但却没有捕捉到输入图像所描述的概念特性，因此我们应该更关注代理人将其使用的符号关联的视觉语义，才能更好地开发出类似于语言的沟通系统。

    Aug, 2018

  • 使用符号和像素输入的指称博弈中的语言交流的出现

    研究算法在学习语言进化中起到的作用，通过深度学习方法和 RL 神经网络代理进行了提高，并开发出代理能够从原始像素数据中学习的能力，研究表明输入数据中的结构程度影响出现的协议的性质，并证实当代理感知到世界的结构时，结构化的组合性语言很可能会出现。

    Apr, 2018

  • 视觉参考游戏推进分离表示的产生

    本文研究了视觉指代游戏中深度学习中所学习的表示中的解缠，组合性及系统性之间的关系，并提出了一个基于 Obverter 架构的视觉指代游戏实现了更好的解缠表现。同时，作者还拓展了位置解缠和互信息差解缠指标，以更好地区分不同种类的组合语言，并研究了零样本组合学习测试量是否与先前提出的解缠和组合性指标之一相关联。

    Apr, 2023

  • 注重信息，忽略不重要的：指称游戏中的沟通策略

    本文研究了多代理协作，发现当人工智能代理学习玩简单参考游戏的同时，也能够建立共享的词汇表。通过分析神经网络代理在简单的参考游戏中使用符号进行对象映射的策略，发现对于非均匀分布的环境，代理人将忽略无用特征并更好地利用其他特征进行通信，这为语言的形成提供了新的启示。

    Nov, 2019

  • 从零开始的可解释代理通信（伴随着一种通用的视觉处理器的出现）

    该研究证实了深度神经网络在自我训练过程中的无监督紧急通讯协议在真实情况下是可行的，能够顺利地识别对象，而且还能作为通用视觉特征。

    Jun, 2021

  • 通过交互式游戏学习通用的视觉表征

    本文研究了人工智能在玩捉迷藏等身体化游戏时，对其决策，社交能力和创造性问题解决能力的影响。通过引入隐藏游戏的想法，作者在高度互动的环境中，展示了智能体在玩捉迷藏游戏时，通过刻意注意到事物的永久性、自由空间和包含性等方面，学习到了一般化的表征能力，并提出了从静态大数据集向交互式、体验式学习的创新实验方法。

    Dec, 2019

  • 视觉引导语言学习：语言游戏，数据集，任务和模型综述

    对于基于语言模型目标在大规模纯文本数据上进行训练的几种机器学习模型，在许多自然语言理解和生成任务上取得了令人印象深刻的结果。然而，对于语义的许多方面，仅仅通过 “倾听收音机” 是无法学习到的。本文系统地回顾了视觉 + 语言领域中提出的多个任务和模型。利用维特根斯坦的 “语言游戏” 思想，将这些任务分为 3 个不同的类别：1）区分性游戏，2）生成性游戏，和 3）交互式游戏。我们的文献分析提供了证据，表明未来的工作应该专注于重要的交互式游戏，在其中自然语言的交流对于解决关于物体指称和行动计划的不确定性是必要的，而物理体现则是理解场景和事件语义的重要条件。作为总体，这些是发展基于神经模型的扎根意义的关键要求。

    Dec, 2023

  • 多智能体通讯游戏中的紧急语言现象

    本文提出了使用深度强化学习进行训练的带有通信能力的智能体在同时进行一系列指称游戏的计算框架，证明了框架反映了自然语言中观察到的语言现象，即语言演化的复杂属性可以不依赖于复杂的语言能力而是可以从视觉感知智能体之间的简单社交交流中产生。

    Jan, 2019

  • 语言产生的内部和外部压力：最小化努力、对象恒常性和频率

    本文提出几种对人工代理人进行沟通的现实压力，经过广泛的分析表明，这种压力导致出现了具有较少冗余，更多关注于高级概念信息和更好的泛化能力的新兴语言，从而缩小了新兴语言和自然语言之间的差距。

    Apr, 2020

  • ReferentialGym: 一种命名及框架用于语言演化和（视觉）指代游戏中的基础

    该论文提出了一种理解研究语言演变和基础的主要方法的词汇表，并引入了基于 PyTorch 的深度学习框架 ReferentialGym，旨在通过提供基准实现、算法和度量标准，简化领域入门难度并提供常见实现。

    Dec, 2020