ACLMar, 2019

LSTM 语言模型中数字和语法单元的出现

PDF
TL;DR我们对 LSTMs 的内部机制进行了详细的研究，发现这些单元部分受其他追踪句法结构的单元的控制，实现了真正的句法处理机制，为深入理解 LSTMs 中的语法编码铺平了道路。
lstmsnumber trackingsyntax-sensitive generalizationssingle neuron levelsyntactic processing mechanisms
发现论文，激发创造
  • 评估 LSTMs 学习句法敏感依赖能力

    本研究使用长短期记忆神经网络（LSTM）来探讨其在语言处理中捕捉句法结构的能力，结果表明，在受到显式语法目标的监督时，LSTM 可以捕捉相当数量的语法结构，但是需要更强的架构来进一步减少错误，且语言建模信号不足以捕捉句法敏感的依赖关系，需要更直接的监督。

    Nov, 2016

  • 神经语言模型和人类处理嵌套依赖的机制

    使用深度学习方法训练的人工神经网络可以在一定程度上模拟人类语句处理的神经机制，但由于某些长距离内嵌依赖的影响，尚不支持完全递归，并且在与人类检测单复数一致性方面具有类似的误差模式。

    Jun, 2020

  • 使用影响路径来表征 LSTM 语言模型中的主谓数一致性

    本文引入了影响路径的概念，对 LSTM 网络中的语言结构特征进行了分析和研究，并精细化地定位和分段语言结构中的概念及其相关元素，从而更全面、准确地展现了 LSTM 网络处理英语语言结构方面的能力。

    May, 2020

  • 语言模型对数字的理解，至少在某种程度上

    研究表明大型语言模型在理解和利用数字以及在数学问题上进行计算方面具有部分能力。

    Jan, 2024

  • LSTMs 是否具有性别意识？探究 LSTMs 学习抽象句法规则的能力

    通过测试法语中的性别协议，该研究发现 LSTMs 对需要对长距离句法依赖进行跟踪的语言任务具有高准确性，然而，是否 LSTMs 真正学习了抽象的句法规则和类别依然未知。

    Oct, 2022

  • 无需语法的词序排列

    研究表明，使用 n-gram 语言模型和 LSTM 语言模型可以更有效地恢复句子的顺序，比一些最先进的句法模型表现更好。

    Apr, 2016

  • 有序神经元：将树结构集成到循环神经网络中

    本文提出了一种新的循环神经网络体系结构，称为 ON-LSTM，通过对神经元进行排序来添加合理的生物学归纳偏差，从而增强了语言建模、无监督解析、有针对性的句法评估和逻辑推理等四项任务的性能表现。

    Oct, 2018

  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • 评估单一 RNN 作为端到端组合语法模型

    通过使用 LSTM 和矩阵乘法编码单元矩阵的 unitary-evolution 循环神经网络 (URN)，成功地处理了两种类型的句法模式，这对于深度学习在自然语言处理中提高可解释性具有重要意义。

    Aug, 2022

  • 评估 LSTM 学习无上下文文法的能力

    使用长短时记忆神经网络模型探索了自然语言中的分层结构，结果显示 LSTM 无法学习到相关的上下文无关规则，但仍是许多自然语言任务的高效工具之一。

    Nov, 2018