ACLMar, 2019

使用合成自然语言变体研究 RNN 的归纳偏置

PDF
TL;DR研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。
发现论文，激发创造
  • 利用多任务学习探索 RNN 的句法能力

    本论文探究了 RNN 在句法能力、主谓一致性任务方面的表现，并测试了多任务训练是否能够提高其性能，结果表明多任务训练可以提高 RNN 的表现，尤其在复杂句子方面。此外，多任务训练还可以向语言模型中注入语法知识。

    Jun, 2017

  • RNNs 是否学会了类似于人类的抽象词序偏好？

    通过构造符合主要句法变异的受控句子刺激，研究发现 RNN 语言模型能够复现人类在句法变异中基于名词短长、生命力和确定性等因素的偏好，并且能够与人类评估结果相匹配，考虑到 N-gram 基准模型的情况，这说明了 RNNs 学习了在句法变异中概括名词重量、生命力和确定性等抽象特征。

    Nov, 2018

  • 使用人工语言检验神经语言模型的归纳偏差

    该研究提出了一种新颖的方法，使用人造语言验证语言模型的归纳偏见，并发现常用的神经架构在处理语句单词排序方面存在不同的归纳偏差。

    Jun, 2021

  • LSTM 能否学会捕捉一致性？以巴斯克语为例

    该研究主要探讨了顺序神经网络模型在巴斯克语中的一项任务 —— 协议预测，发现这些模型在协议预测上表现不如预期，并提出巴斯克协议预测任务作为学习自然语言正则性的具有挑战性的基准测试。

    Sep, 2018

  • 深度智能体新兴通信的词序偏见

    本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念，以使其语言行为更像人类。

    May, 2019

  • 神经语言模型中语法一致机制的因果分析

    通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

    Jun, 2021

  • 作为心理语言学对象的 RNNs：句法状态和语法依存关系

    本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

    Sep, 2018

  • 循环神经网络语言模型总是学习类似于英语的关系从句连接

    通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

    May, 2020

  • 使用影响路径来表征 LSTM 语言模型中的主谓数一致性

    本文引入了影响路径的概念，对 LSTM 网络中的语言结构特征进行了分析和研究，并精细化地定位和分段语言结构中的概念及其相关元素，从而更全面、准确地展现了 LSTM 网络处理英语语言结构方面的能力。

    May, 2020

  • 使用监督学习发现潜在结构的句法类型学细粒度预测

    本研究展示了如何通过部分语音序列对一个新语言的基本语序事实进行预测，并且通过大量的合成语言训练数据，将这个通常被认为是无监督学习的问题转化成了有监督学习，从而成功地识别了一个语言的 POS 序列的表面特征（手工特征或神经特征）与其更深层次的结构（潜在树）相关性。该系统在该任务上表现出色，比语法归纳基线高出一个很大的优势。

    Oct, 2017