Apr, 2023

视觉参考游戏推进分离表示的产生

PDF
TL;DR本文研究了视觉指代游戏中深度学习中所学习的表示中的解缠，组合性及系统性之间的关系，并提出了一个基于 Obverter 架构的视觉指代游戏实现了更好的解缠表现。同时，作者还拓展了位置解缠和互信息差解缠指标，以更好地区分不同种类的组合语言，并研究了零样本组合学习测试量是否与先前提出的解缠和组合性指标之一相关联。
compositionalitydisentanglementsystematicityreferential gamesdeep learning
发现论文，激发创造
  • 新兴语言中的组合性和通用性

    本文研究深度多智能体模拟中涌现的语言是否具有类似于人类语言组合性的能力，通过分离表示学习中的受启发的新的衡量组合性的方法建立了三个主要结果：在有足够的输入空间的情况下，新概念的组合性将自然而然地产生；组合性的程度与语言的泛化能力无关；虽然组合性对于泛化来说不是必要的，但对于语言传递来说提供了优势。

    Apr, 2020

  • 关于视觉指代协作游戏中紧急系统化普适性与组合性的直通 Gumbel-Softmax 估计器

    通过测试训练数据分配策略、信道大小、词汇量大小及计算最大句子长度等几个方面，探究了词组合性和一般化能力在视觉谈判游戏中的具体应用情况。结果表明，采用适当的信道大小和适当的训练策略，可以提高视觉任务中的语言组合性及语言生成的一般化能力。

    Dec, 2020

  • 无监督组合表示学习中的组合泛化：关于解缠和新兴语言的研究

    本文探讨了使用不同的自监督学习算法所学到的表示在复合泛化上的能力，研究发现，与其它算法相比，使用 EL 模型学习到的表示具有更强的复合泛化能力，但在训练简单模型并使用少量标签进行泛化时直接使用瓶颈表示会导致泛化性能较差，同时现有的度量复合性的指标与本文的评价方法不相关

    Oct, 2022

  • 内在动机的组合语言生成

    本篇论文提出一种内在奖励框架，通过强化学习设置两个代理，以在三个不同的指称游戏环境下将有限通道容量与内在奖励相结合，提高新颖环境下组合性得分约 1.5-2 倍。

    Dec, 2020

  • 从原始视觉输入中学习组合式取反通信

    本文介绍了一种利用神经代理从原始图像像素中学习视觉感知，并使用一系列离散符号进行通信的方法，以进行图像描述游戏。通过定性分析、可视化和零样本测试，证明了代理可以在适当的环境压力下从原始图像像素中发展出复合属性的语言。

    Apr, 2018

  • 避免使用 hash，并在引用的新兴语言游戏中鼓励视觉语义

    本研究考虑了 Havrylov 和 Titov 的信令游戏设置，并研究了特征提取器的权重和解决的任务对模型所学习或捕捉的视觉语义的影响。通过对输入图像的各种增强和游戏中的附加任务的引入，实现了在完全自监督的情况下学习捕捉图像概念属性的视觉表征的通信系统。

    Nov, 2019

  • 基于向量的表示是关键：有关解缠和组合泛化的研究

    在人工智能领域，学习并拥有类人类的智能需要处理认知的本质概念和生成这些概念的新的组合的能力，本文研究了这两种能力之间的关系，并发现基于向量的表示方法可以提高这两种能力，此观察结果与神经科学研究一致，为实现类人智能迈出了重要一步。

    May, 2023

  • 使用元指称游戏学习组合学习行为

    人类使用组成性从过去的经验推广到实际或虚构的新经验中。为了支持我们想象和参与新经验，我们将经验分解为基本原子组件，然后以新颖的方式重新组合这些原子组件以支持我们的能力。本文提出了一种名为符号行为基准（S2B）的贝奇马克来调查智能体展示组成学习行为能力的能力，以便建造能够与人类合作的人工智能。

    Jul, 2022

  • 使用符号和像素输入的指称博弈中的语言交流的出现

    研究算法在学习语言进化中起到的作用，通过深度学习方法和 RL 神经网络代理进行了提高，并开发出代理能够从原始像素数据中学习的能力，研究表明输入数据中的结构程度影响出现的协议的性质，并证实当代理感知到世界的结构时，结构化的组合性语言很可能会出现。

    Apr, 2018

  • 迭代学习在大型视觉语言模型中提高组合性

    通过引入一种新的迭代训练算法，以文化传播作为归纳先验，本研究以视觉代理和语言代理之间的 Lewis 信号游戏重新定义了视觉 - 语言对比学习，并通过在训练过程中迭代重置代理权重的方式实现文化传播，使得模型对于合成语言的特性变得更易于学习，达到了在 SugarCrepe 评测中相比标准 CLIP 模型分别提升 4.7% 和 4.0% 的效果。

    Apr, 2024