Nov, 2016

评估 LSTMs 学习句法敏感依赖能力

PDF
TL;DR本研究使用长短期记忆神经网络（LSTM）来探讨其在语言处理中捕捉句法结构的能力，结果表明，在受到显式语法目标的监督时，LSTM 可以捕捉相当数量的语法结构，但是需要更强的架构来进一步减少错误，且语言建模信号不足以捕捉句法敏感的依赖关系，需要更直接的监督。
long short-term memoryneural networkslanguage processingsyntax-sensitive dependenciesgrammatical competence
发现论文，激发创造
  • RNN 架构需要多少复杂度才能学习依赖句法语义？

    本文介绍了一个新的神经网络架构 Decay RNN，它可以通过模拟神经元的抑制和兴奋连接，更好地学习长期依赖关系，相较于 LSTM 在语言任务上也表现十分出色，这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。

    May, 2020

  • 评估 LSTM 学习无上下文文法的能力

    使用长短时记忆神经网络模型探索了自然语言中的分层结构，结果显示 LSTM 无法学习到相关的上下文无关规则，但仍是许多自然语言任务的高效工具之一。

    Nov, 2018

  • LSTM 语言模型中数字和语法单元的出现

    我们对 LSTMs 的内部机制进行了详细的研究，发现这些单元部分受其他追踪句法结构的单元的控制，实现了真正的句法处理机制，为深入理解 LSTMs 中的语法编码铺平了道路。

    Mar, 2019

  • 结构化监督改善非本地语法依赖关系的学习

    本研究探究了基于分层结构预训练的神经语言模型与 LSTM 模型在学习语音上的差异，并发现基于分层结构的猝死神经网络语法模型具有明显优势。

    Mar, 2019

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 子正则复杂度与深度学习

    本文通过对两种循环神经网络的实验研究，证明了正则正负推理算法是深度神经网络能否表示和学习时间序列中的长期依赖的可靠工具。此外，本文发现在同种实验中简单循环神经网络在最难的实验中表现出色，长短时记忆网络的表现总体上比简单循环神经网络差。

    May, 2017

  • LSTMs 是否具有性别意识？探究 LSTMs 学习抽象句法规则的能力

    通过测试法语中的性别协议，该研究发现 LSTMs 对需要对长距离句法依赖进行跟踪的语言任务具有高准确性，然而，是否 LSTMs 真正学习了抽象的句法规则和类别依然未知。

    Oct, 2022

  • 使用知识蒸馏的可扩展语法感知语言模型

    利用知识蒸馏技术将小型语法语言模型的知识传递到 LSTM 语言模型，从而使 LSTM 对更大的训练数据开发出更具结构感知性的表示方式。在针对语法的评估中，我们发现，尽管顺序 LSTM 比以前的报告要好得多，但我们提出的技术显著改善了这个基准值，产生了新的最佳成果。我们的发现和分析确认了结构上的偏差的重要性，甚至是在从大量数据中学习的模型中也如此。

    Jun, 2019

  • 作为心理语言学对象的 RNNs：句法状态和语法依存关系

    本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

    Sep, 2018

  • 句法表示有用 [MASK]：递归 LSTMs 中成分和依存结构的影响

    研究基于序列的神经网络与基于树的网络在句法任务上的表现，并比较常见的句法表示方法对句法结构带来的影响，同时发现基于组成结构的网络更具鲁棒性，通过少量构建的数据 fine-tune 可以显着提高序列模型的性能，表明数据增强是为序列模型注入句法偏置的可行替代方案。

    Apr, 2020