内在动机的组合语言生成
本文研究深度多智能体模拟中涌现的语言是否具有类似于人类语言组合性的能力,通过分离表示学习中的受启发的新的衡量组合性的方法建立了三个主要结果:在有足够的输入空间的情况下,新概念的组合性将自然而然地产生;组合性的程度与语言的泛化能力无关;虽然组合性对于泛化来说不是必要的,但对于语言传递来说提供了优势。
Apr, 2020
本研究旨在使用好奇心作为反馈机制,诱导一种系统性和明确的语言协议,展示如何利用组合性不仅能让人工智能代理与未见过的对象交互,而且能在零样本场景下从一项任务中转移技能到另一项任务中。
May, 2021
本文针对自然语言和应用语言学习中需要考虑的多种要素进行分析,重点关注神经网络的容量以及传输渠道的带宽对于学习组合性语言的影响,并且提出一种新的评估度量,以此探索神经网络的能力范围并促进系统化的广义化。
Oct, 2019
研究了深度神经网络智能体在 Lewis 游戏中的模仿学习行为, 发现了组合性与模仿学习之间的关系, 带来了两个贡献:一是不同类型的学习算法对语言的影响, 二是发现组合性语言的易于模仿性
May, 2023
本文研究了语言中的复合性在普遍性和人类认知中的作用,并通过两个代理人之间的沟通博弈,证明了当在适当的数据集上进行评估时,复合性确实似乎对成功的泛化至关重要。
Jun, 2022
本文探讨了关于 emergent communication 和 language origins 中 compositionality 和 reflexivity 的不同标准,指出了在未来的研究中注重 reflexivity 而非 compositionality 的重要性,并提供了一些有用的参考文献。
Nov, 2019
探讨了人类和神经网络代理之间新兴通信协议的三个重要现象,包括学习容易性、泛化和群体规模影响,强调了认知和交际限制对语言结构的影响,在神经仿真中引入此类限制将促进更语言上可信的行为。
Apr, 2022
人工智能代理器被证明在完成合作任务时可以学习交流,发现在学习的通信协议中存在某种语言结构(例如组合性),这种结构通常是训练过程中特定环境压力的结果。通过定期引入新的代理器来替换旧的,我们探索了一种新的压力 —— 教学的便捷性,并展示了其对结果语言结构的影响。
Jun, 2019