MMDec, 2020

关于视觉指代协作游戏中紧急系统化普适性与组合性的直通 Gumbel-Softmax 估计器

PDF
TL;DR通过测试训练数据分配策略、信道大小、词汇量大小及计算最大句子长度等几个方面，探究了词组合性和一般化能力在视觉谈判游戏中的具体应用情况。结果表明，采用适当的信道大小和适当的训练策略，可以提高视觉任务中的语言组合性及语言生成的一般化能力。
compositionalityemergent languagesvisual stimulitraining strategygeneralization abilities
发现论文，激发创造
  • 视觉参考游戏推进分离表示的产生

    本文研究了视觉指代游戏中深度学习中所学习的表示中的解缠，组合性及系统性之间的关系，并提出了一个基于 Obverter 架构的视觉指代游戏实现了更好的解缠表现。同时，作者还拓展了位置解缠和互信息差解缠指标，以更好地区分不同种类的组合语言，并研究了零样本组合学习测试量是否与先前提出的解缠和组合性指标之一相关联。

    Apr, 2023

  • 新兴语言中的组合性和通用性

    本文研究深度多智能体模拟中涌现的语言是否具有类似于人类语言组合性的能力，通过分离表示学习中的受启发的新的衡量组合性的方法建立了三个主要结果：在有足够的输入空间的情况下，新概念的组合性将自然而然地产生；组合性的程度与语言的泛化能力无关；虽然组合性对于泛化来说不是必要的，但对于语言传递来说提供了优势。

    Apr, 2020

  • 使用内在动机的组合新兴协议进行零样本泛化

    本研究旨在使用好奇心作为反馈机制，诱导一种系统性和明确的语言协议，展示如何利用组合性不仅能让人工智能代理与未见过的对象交互，而且能在零样本场景下从一项任务中转移技能到另一项任务中。

    May, 2021

  • 组合网络实现基于场景的语言理解的系统性泛化

    提出通过遵循组成性原则来训练神经网络解决语言理解的挑战，并通用地应用于多种领域，进而提高机器人的安全性和公平性，所提出的网络能够显着提高自然语言理解能力，且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。

    Aug, 2020

  • 基于场景语境的系统化概括语言理解基准测试

    本文介绍了一个新的基准测试 gSCAN，用于评估位于语言理解中的组成泛化，在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇，并将其用于语言理解任务。测试发现，在需要系统的组成规则的情况下，强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。

    Mar, 2020

  • 通过模板迁移发展动机促进构成性交流的出现

    本研究提出了一种使用模板转移的训练方法，以实现多智能体系统中的紧急组成通信，此方法不需要在智能体的架构上强加归纳偏见，并通过拓扑相似度、零 - shot 泛化和上下文独立进行了实验验证，该方法支持了一个假设：组成性通信基于较简单通信协议。

    Oct, 2019

  • 通过机器人的交互学习语言和行动发展组成性和泛化能力

    通过基于自由能原理的预测编码和主动推理框架，将视觉、本体感知和语言集成到一个受脑启发的神经网络模型中，通过多种模拟实验及机械臂的测试，研究表明，在增加任务组合的变异性时，对于学习未知的动词 - 名词组合的泛化能力得到了显著提升，这归因于语言潜在状态空间中的自组织组合结构被感觉运动学习显著影响，视觉注意和工作记忆对于准确生成视动序列以实现语言表示目标具有重要作用，这些结果推进了我们对通过语言和感觉运动经验相互作用发展组合性机制的理解。

    Mar, 2024

  • 重塑熟悉：测试循环网络的组合泛化能力

    研究表明，在小范围模拟的语言理解任务中，seq2seq 模型具有很强的单词和短语的组合能力，但是当需要推导出新的组合规则时，模型的表现则很糟糕，需要更多的训练。

    Jul, 2018

  • 迭代学习在大型视觉语言模型中提高组合性

    通过引入一种新的迭代训练算法，以文化传播作为归纳先验，本研究以视觉代理和语言代理之间的 Lewis 信号游戏重新定义了视觉 - 语言对比学习，并通过在训练过程中迭代重置代理权重的方式实现文化传播，使得模型对于合成语言的特性变得更易于学习，达到了在 SugarCrepe 评测中相比标准 CLIP 模型分别提升 4.7% 和 4.0% 的效果。

    Apr, 2024

  • 迭代学习用于 VQA 中的新兴系统性

    通过使用迭代学习方法，作者提出了一种新的正则化技术来促进神经模块网络结构语言化的形成，从而使其支持系统化推理和解决复杂视觉问答任务。实验结果表明，在形成结构化语言方面，这种方法比基准方法更出色，并且对于 SHAPES-SyGeT 和 CLEVR 数据集上的系统化推理任务，也实现了优异的性能表现。

    May, 2021