通信促进神经智能体中语言普遍性的出现：来自单词顺序 / 格标记折衷的证据

Jan, 2023

通信促进神经智能体中语言普遍性的出现：来自单词顺序 / 格标记折衷的证据

Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off

PDF

Yuchen Lian, Arianna Bisazza, Tessa Verhoef

TL;DR提出了一个新的神经智能代理语言学习和通讯框架 (NeLLCom)，通过监督学习和强化学习来优化在自然语言学习和使用情况下语言学习的结果，成功实现了无任何学习偏见的代理之间单词顺序 / 格标记权衡的复制，这被视为深度研究语言普遍规律的重要一步。

Abstract

artificial learners often behave differently from human learners in the context of neural agent-based simulations of language emergence and change. The lack of appropriate cognitive biases in these learners is one of the prevailing explanations. However, it has also been proposed that

artificial learners neural-agent language learning and communication framework word-order/case-marking trade-off supervised learning reinforcement learning

发现论文，激发创造

深度智能体新兴通信的词序偏见

本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念，以使其语言行为更像人类。

May, 2019

紧急沟通：了解人类语言演化还缺什么？

探讨了人类和神经网络代理之间新兴通信协议的三个重要现象，包括学习容易性、泛化和群体规模影响，强调了认知和交际限制对语言结构的影响，在神经仿真中引入此类限制将促进更语言上可信的行为。

Apr, 2022

高效信息传递和输入变异对神经代理迭代语言学习的影响

该研究发现，在使用神经网络代理进行迭代语言学习的近期模拟中，并不存在诸如词序或屈折等表达句法结构的不同策略间的权衡。然而，这一研究发现在考虑到偏向于高效传达、不系统的输入语言和学习瓶颈等三个因素后得到了重新评估，并发现神经网络代理主要努力保持学习期间观察到的话语类型分布，而不是发展更高效或系统化的语言。

Apr, 2021

多智能体合作与（自然）语言的出现

本文提出了一种基于多智能体交互通信的语言学习框架，在指代游戏的上下文中研究了这种学习方法，通过联系人工智能代理人彼此通信以识别随机图像，在通过调整游戏环境来提高代理人交流的自适应语言结构，并为代理人的代码提出简单的系统，从而使其更好地恰当地通信，并能更有效地与人类沟通。

Dec, 2016

多智能体通信与自然语言：功能与结构语言学之间的协同

本文介绍一种结合多智能体通信和传统数据驱动方法的自然语言学习方法，通过在自身玩耍的环境中生成任务特定的奖励来适应或调节模型，形成任务条件化语言模型，并引入了一种基于语言模型样本重新排序的新方法，以优于其他方法地与人类进行视觉指称交流任务的通信。最后，我们提出了一种不同类型的语言漂移分类以及检测它们的措施。

May, 2020

多智能体通讯游戏中的紧急语言现象

本文提出了使用深度强化学习进行训练的带有通信能力的智能体在同时进行一系列指称游戏的计算框架，证明了框架反映了自然语言中观察到的语言现象，即语言演化的复杂属性可以不依赖于复杂的语言能力而是可以从视觉感知智能体之间的简单社交交流中产生。

Jan, 2019

多智能体游戏中语言的出现：学习使用符号序列进行沟通

通过玩转指代博弈，研究者们发现使用可微分方式（ST Gumbel-softmax estimator）的强化学习方法能够有效地解决学习沟通的问题，从而使得交互遵循自然语言的组成性和可变性。

May, 2017

社交学习智能体语言演化和分析框架

本研究提出一种模拟语言特征的通信协议，通过将高维信息编码为低维表示来分析对任务表现的影响，进而提高任务完成率，并强调了语言作为代理之间共同表征的作用及其对泛化能力的影响。

May, 2023

朝着基于多智能体通信的语言学习

提出了一种交互式多模态框架，通过协作推理游戏，实现神经网络学习语言，初步实验结果可喜，但需注意避免智能体发展出仅针对游戏有效的特定通信编码。

May, 2016

深度学习时代的紧急多智能体交流

研究表明，随着深度人工网络的感知、移动和规划能力的增强，研究人员正在研究它们是否也能发展出共享语言来相互交互，并探讨语言在深度代理人群体中演化及紧急特性的条件，这既有助于理解人类语言进化的过程，也可以让深度网络在日常生活中更加灵活和有用。本文概述了各角度最具代表性的语言演化研究。

Jun, 2020