ICLRFeb, 2020

神经迭代学习模型中出现组合语言

PDF
TL;DR通过提出神经迭代学习算法 (NIL)，促进交互神经网络代理人创建一种更为结构化的语言，由于这种基于组合性的语言的学习速度优势及泛化性能的提升，在推理和传输方面有着重要意义。
发现论文，激发创造
  • 神经代理通过迭代学习出数字概念组合语言的形成

    通过深度学习技术，本研究探讨在多智能体通信系统中数字概念的组合语言的出现。我们证明了，深度神经网络智能体群体中的组合语言可以通过迭代学习出现。然而，语言属性很大程度上取决于给智能体的输入表示。如果相较于其他情况给智能体反馈的输入表示更少，组合语言才会出现。

    Oct, 2019

  • 关于新兴神经通信中组合性和模仿之间的关系

    研究了深度神经网络智能体在 Lewis 游戏中的模仿学习行为， 发现了组合性与模仿学习之间的关系， 带来了两个贡献：一是不同类型的学习算法对语言的影响， 二是发现组合性语言的易于模仿性

    May, 2023

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 新兴语言中的组合性和通用性

    本文研究深度多智能体模拟中涌现的语言是否具有类似于人类语言组合性的能力，通过分离表示学习中的受启发的新的衡量组合性的方法建立了三个主要结果：在有足够的输入空间的情况下，新概念的组合性将自然而然地产生；组合性的程度与语言的泛化能力无关；虽然组合性对于泛化来说不是必要的，但对于语言传递来说提供了优势。

    Apr, 2020

  • 迭代学习在大型视觉语言模型中提高组合性

    通过引入一种新的迭代训练算法，以文化传播作为归纳先验，本研究以视觉代理和语言代理之间的 Lewis 信号游戏重新定义了视觉 - 语言对比学习，并通过在训练过程中迭代重置代理权重的方式实现文化传播，使得模型对于合成语言的特性变得更易于学习，达到了在 SugarCrepe 评测中相比标准 CLIP 模型分别提升 4.7% 和 4.0% 的效果。

    Apr, 2024

  • 维护紧密性：应对新兴语言中的复合性问题

    本文研究了语言中的复合性在普遍性和人类认知中的作用，并通过两个代理人之间的沟通博弈，证明了当在适当的数据集上进行评估时，复合性确实似乎对成功的泛化至关重要。

    Jun, 2022

  • 自然语言复合性之悖论：基于神经机器翻译的案例研究

    本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

    Aug, 2021

  • 内在动机的组合语言生成

    本篇论文提出一种内在奖励框架，通过强化学习设置两个代理，以在三个不同的指称游戏环境下将有限通道容量与内在奖励相结合，提高新颖环境下组合性得分约 1.5-2 倍。

    Dec, 2020

  • 深度繁衍传输下的组合语言出现

    本研究介绍了将文化演化动态引入语言出现过程中，通过定期更换人群中的代理以创建知识差距来提高语言的组成通用性。

    Apr, 2019

  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019