Sep, 2018

作为心理语言学对象的 RNNs：句法状态和语法依存关系

PDF
TL;DR本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。
recurrent neural networkssequence modelingsyntactic stategrammatical dependencylstm
发现论文，激发创造
  • 神经语言模型作为心理语言学研究对象：句法状态的表征

    本研究使用控制的心理语言学实验方法，研究神经网络语言模型对句法状态的递增表示程度，发现 LSTM 序列模型在训练大型数据集时能够对文本中的广泛句法状态进行有效的表示，而对小型数据集的训练效果不如递归神经网络 (RNNG)。

    Mar, 2019

  • RNN 架构需要多少复杂度才能学习依赖句法语义？

    本文介绍了一个新的神经网络架构 Decay RNN，它可以通过模拟神经元的抑制和兴奋连接，更好地学习长期依赖关系，相较于 LSTM 在语言任务上也表现十分出色，这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。

    May, 2020

  • 子正则复杂度与深度学习

    本文通过对两种循环神经网络的实验研究，证明了正则正负推理算法是深度神经网络能否表示和学习时间序列中的长期依赖的可靠工具。此外，本文发现在同种实验中简单循环神经网络在最难的实验中表现出色，长短时记忆网络的表现总体上比简单循环神经网络差。

    May, 2017

  • 循环神经网络语言模型学习了哪些填充词和空缺之间的依赖关系？

    研究 RNN 语言模型是否能表示长距离空位 - 成分依存以及是否具有语法推广能力，结果表明，RNN 可以表示多种不同的语法结构，包括已知的空位 - 成分依存的限制条件，具有一定的语法推广能力，此研究证明了最先进的 RNN 模型能够学习并推广关于空的语法位置的信息。

    Aug, 2018

  • 循环神经网络语法

    本研究介绍了递归神经网络语法与其使用的高效推理过程，分别应用于句法分析和语言模型，实验结果表明在英文的句法分析和英汉语言模型方面，其效果均优于所有以前发表的有监督生成模型和最先进的序列 RNNs。

    Feb, 2016

  • RNN 语言模型中的句法结构如何阻止依赖关系？

    本篇论文旨在探讨 RNN 语言模型在语法结构方面的表现，研究填充语与间隔的依赖关系及语法岛的限制，通过控制实验证明了该模型在岛屿限制下仍能维持填充语与间隔的依赖关系，模型的行为是基于更精细的期望而非粗略的句法复杂性，但在某些表现特征上与人类不相似。

    May, 2019

  • 结构化监督改善非本地语法依赖关系的学习

    本研究探究了基于分层结构预训练的神经语言模型与 LSTM 模型在学习语音上的差异，并发现基于分层结构的猝死神经网络语法模型具有明显优势。

    Mar, 2019

  • 无色的绿色循环网络进行分层梦境

    本文研究了递归神经网络中选择性跟踪语言抽象层级结构的能力，并测试了递归神经网络在四种语言（意大利语、英语、希伯来语、俄语）中使用语言模型目标进行训练是否能够预测各种结构中的长距离数字一致性，结果表明递归神经网络能够可靠地预测长距离一致性而不依赖于词汇或语义信号，支持递归神经网络不仅是浅层模式学习器，而且还能获得较深语法能力的假设。

    Mar, 2018

  • 递归神经网络语法学习了什么？

    通过对模型、数据进行改动以及嵌入注意力机制，研究表明 RNNG 模型中显式建模组成部分对于实现最佳性能至关重要；并通过注意力机制发现，头部性在短语表示中起着核心作用，而短语表示与非终结符的依附关系最小化支持了前缀假说。

    Nov, 2016

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015