Oct, 2022

对比多模态学习，以促进图形感觉-运动交流的出现

HTML
PDF
TL;DR本文研究了人工智能代理程序是否能够在基于感觉-运动通道的生态环境中发展出共享语言；介绍了图形指涉游戏（GREG）以及 CURVES：一种多模式对比深度学习机制，监测了CURVES在训练中的表现以及代理程序能否自组织出通用于未见过情况下的特征组合的语言；同时，探讨了新兴的语言结构。
发现论文，激发创造
  • 多智能体合作与（自然）语言的出现

    本文提出了一种基于多智能体交互通信的语言学习框架，在指代游戏的上下文中研究了这种学习方法，通过联系人工智能代理人彼此通信以识别随机图像，在通过调整游戏环境来提高代理人交流的自适应语言结构，并为代理人的代码提出简单的系统，从而使其更好地恰当地通信，并能更有效地与人类沟通。

    Dec, 2016

  • 多智能体游戏中语言的出现: 学习使用符号序列进行沟通

    通过玩转指代博弈，研究者们发现使用可微分方式（ST Gumbel-softmax estimator）的强化学习方法能够有效地解决学习沟通的问题，从而使得交互遵循自然语言的组成性和可变性。

    May, 2017

  • 使用符号和像素输入的指称博弈中的语言交流的出现

    研究算法在学习语言进化中起到的作用，通过深度学习方法和RL神经网络代理进行了提高，并开发出代理能够从原始像素数据中学习的能力，研究表明输入数据中的结构程度影响出现的协议的性质，并证实当代理感知到世界的结构时，结构化的组合性语言很可能会出现。

    Apr, 2018

  • 智能体视角下的视觉表征：一种新兴语言游戏研究

    探究Lazaridou等人（2017）的指称游戏中，代理人在相互作用过程中建立起的视觉表示，结果发现代理人成功建立沟通是通过引导几乎完全一致的视觉表示来实现的，但却没有捕捉到输入图像所描述的概念特性，因此我们应该更关注代理人将其使用的符号关联的视觉语义，才能更好地开发出类似于语言的沟通系统。

    Aug, 2018

  • 注重信息，忽略不重要的：指称游戏中的沟通策略

    本文研究了多代理协作，发现当人工智能代理学习玩简单参考游戏的同时，也能够建立共享的词汇表。通过分析神经网络代理在简单的参考游戏中使用符号进行对象映射的策略，发现对于非均匀分布的环境，代理人将忽略无用特征并更好地利用其他特征进行通信，这为语言的形成提供了新的启示。

    Nov, 2019

  • 探索紧急通信中的图表示学习

    本文利用图卷积网络支持多智能体系统中语言和合作的进化，并提出了一个具有不同复杂性的图形指称游戏，并提供了强基准模型，展示了出色的语言演化和合作特性。

    Jan, 2020

  • 关于视觉指代协作游戏中紧急系统化普适性与组合性的直通Gumbel-Softmax估计器

    通过测试训练数据分配策略、信道大小、词汇量大小及计算最大句子长度等几个方面，探究了词组合性和一般化能力在视觉谈判游戏中的具体应用情况。结果表明，采用适当的信道大小和适当的训练策略，可以提高视觉任务中的语言组合性及语言生成的一般化能力。

    Dec, 2020

  • 学习绘画：通过素描实现紧急沟通

    在人类历史的前史时期，视觉传达早于书面语言，并为它提供了基础。本文探讨了一种基于深度神经网络的视觉交流渠道，通过简单的笔画达到学习和协同解决任务的目的，并在指称交际游戏中展示了其成功应用。

    Jun, 2021

  • 符号出现作为人际情境跨越学习：组合词汇知识的出现

    本文提出了一种计算模型，该模型通过Metropolis-Hastings命名游戏和跨情景学习，使代理之间的组合性出现，并使语词知识生成，从而实现了类别形成和交际式通信。

    Jun, 2023

  • 代表性对齐的奇异案例：揭示新兴交流中的视觉语言任务

    本研究探讨了在模拟新兴交流的过程中，代表性对齐对语言属性的影响。通过评估代理图像表示与输入图像之间的对齐，研究发现新兴语言并未编码人类概念视觉特征，并且代理间对齐与拓扑相似性之间存在强关系。研究提出了一种对齐惩罚机制，尽管未改善组合区分任务的表现，但强调了代表性对齐在语言新兴模拟中的关键作用。

    Jul, 2024