深度智能体新兴通信的词序偏见

ACLMay, 2019

Word-order biases in deep-agent emergent communication

Rahma Chaabouni, Eugene Kharitonov, Alessandro Lazaric, Emmanuel Dupoux, Marco Baroni

TL;DR本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念，以使其语言行为更像人类。

Abstract

sequence-processing neural networks led to remarkable progress on many NLP tasks. As a consequence, there has been increasing interest in understanding to what extent they process language as humans do. We aim here to uncover which biases such models display with respect to "natural" <

sequence-processing neural networks natural language word-order constraints gridworld effort

发现论文，激发创造

通信促进神经智能体中语言普遍性的出现：来自单词顺序 / 格标记折衷的证据

提出了一个新的神经智能代理语言学习和通讯框架 (NeLLCom)，通过监督学习和强化学习来优化在自然语言学习和使用情况下语言学习的结果，成功实现了无任何学习偏见的代理之间单词顺序 / 格标记权衡的复制，这被视为深度研究语言普遍规律的重要一步。

Jan, 2023

使用人工语言检验神经语言模型的归纳偏差

该研究提出了一种新颖的方法，使用人造语言验证语言模型的归纳偏见，并发现常用的神经架构在处理语句单词排序方面存在不同的归纳偏差。

Jun, 2021

高效信息传递和输入变异对神经代理迭代语言学习的影响

该研究发现，在使用神经网络代理进行迭代语言学习的近期模拟中，并不存在诸如词序或屈折等表达句法结构的不同策略间的权衡。然而，这一研究发现在考虑到偏向于高效传达、不系统的输入语言和学习瓶颈等三个因素后得到了重新评估，并发现神经网络代理主要努力保持学习期间观察到的话语类型分布，而不是发展更高效或系统化的语言。

Apr, 2021

语言的深度学习易度是由什么决定的？

通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。

Feb, 2023

将贝叶斯先验蒸馏到人工神经网络中，模拟快速语言学习

将贝叶斯模型的归纳偏差与神经网络的灵活表示相结合，使得从自然语素材中有限学习成为可能。

May, 2023

人工神经网络对人类语言习得的启示

通过使用机器学习及自然语言处理技术，研究语言习得过程，探讨如何让模型学习在有限的语言输入下获取语言知识，以验证关于人类语言学习本质的假说。

Aug, 2022

使用合成自然语言变体研究 RNN 的归纳偏置

研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。

Mar, 2019

紧凑语言中的熵最小化

研究神经代理在通讯任务中共同训练时出现的语言，并聚焦于两个代理一次交流的基本设置，发现这类语言呈现出信息论复杂性且受到熵极小化压力的影响。

May, 2019

RNNs 是否学会了类似于人类的抽象词序偏好？

通过构造符合主要句法变异的受控句子刺激，研究发现 RNN 语言模型能够复现人类在句法变异中基于名词短长、生命力和确定性等因素的偏好，并且能够与人类评估结果相匹配，考虑到 N-gram 基准模型的情况，这说明了 RNNs 学习了在句法变异中概括名词重量、生命力和确定性等抽象特征。

Nov, 2018

大规模神经词嵌入中的顺序建模

提出了一种新的神经语言模型，它不仅包含单词顺序，还包括字符顺序，并利用 skip-gram 网络实现了高效的并行训练，从而在语义和句法类比任务中取得了 85.8％的高分。

Jun, 2015