通过对自发交流模型的文献综述,我们确定了塑造语言模型的关键压力:交流成功、效率、易学性和其他心理 / 社会语言因素,并认为这可以为语言习得和语言演化研究的语言模型设计提供启示。
Mar, 2024
本篇论文提出一种内在奖励框架,通过强化学习设置两个代理,以在三个不同的指称游戏环境下将有限通道容量与内在奖励相结合,提高新颖环境下组合性得分约 1.5-2 倍。
Dec, 2020
本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明,神经网络倾向于避免长距离依赖,但并没有明显的偏好于高效的,非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念,以使其语言行为更像人类。
May, 2019
探讨了人类和神经网络代理之间新兴通信协议的三个重要现象,包括学习容易性、泛化和群体规模影响,强调了认知和交际限制对语言结构的影响,在神经仿真中引入此类限制将促进更语言上可信的行为。
Apr, 2022
本文探讨了深度学习模型在语言游戏中发展出不同语言的表现力,即能力体现在能有效编码输入空间信息的程度;通过对不同游戏的通用性表现进行度量,发现该表现力是上下文的复杂性和不可预测性之间的权衡,并对讯息类型塌缩现象进行了研究,结果表明使用陈等人 (2020) 提出的对比损失能够缓解这一问题。
Jun, 2021
本文提出了使用深度强化学习进行训练的带有通信能力的智能体在同时进行一系列指称游戏的计算框架,证明了框架反映了自然语言中观察到的语言现象,即语言演化的复杂属性可以不依赖于复杂的语言能力而是可以从视觉感知智能体之间的简单社交交流中产生。
Jan, 2019
人工智能代理器被证明在完成合作任务时可以学习交流,发现在学习的通信协议中存在某种语言结构(例如组合性),这种结构通常是训练过程中特定环境压力的结果。通过定期引入新的代理器来替换旧的,我们探索了一种新的压力 —— 教学的便捷性,并展示了其对结果语言结构的影响。
Jun, 2019
研究表明,随着深度人工网络的感知、移动和规划能力的增强,研究人员正在研究它们是否也能发展出共享语言来相互交互,并探讨语言在深度代理人群体中演化及紧急特性的条件,这既有助于理解人类语言进化的过程,也可以让深度网络在日常生活中更加灵活和有用。本文概述了各角度最具代表性的语言演化研究。
Jun, 2020
人类语言是一种独特的自然界沟通方式,其系统性在于信号可以分解为词汇并通过一种规则方式组合成句子,且通过最小化过剩熵的方式实现自然语言一致性,进而达到高效的沟通和信息处理。
May, 2024
本文研究了如何平衡效用、信息的有效性和复杂性,从而塑造新兴的通信,并将其与人类通信进行比较。我们使用 VQ-VIB 方法训练神经代理来压缩输入以获得离散信号,从而比以往的神经体系结构在其性能方面更具优越性,并发现惩罚交际复杂性可以维持高效用的同时维持类似人类的词汇量。此外,我们还发现,VQ-VIB 优于其他离散通信方法。
Jun, 2022