ACLMay, 2020

使用影响路径来表征 LSTM 语言模型中的主谓数一致性

PDF
TL;DR本文引入了影响路径的概念，对 LSTM 网络中的语言结构特征进行了分析和研究，并精细化地定位和分段语言结构中的概念及其相关元素，从而更全面、准确地展现了 LSTM 网络处理英语语言结构方面的能力。
发现论文，激发创造
  • 使用合成自然语言变体研究 RNN 的归纳偏置

    研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。

    Mar, 2019

  • LSTM 语言模型中数字和语法单元的出现

    我们对 LSTMs 的内部机制进行了详细的研究，发现这些单元部分受其他追踪句法结构的单元的控制，实现了真正的句法处理机制，为深入理解 LSTMs 中的语法编码铺平了道路。

    Mar, 2019

  • 评估 LSTMs 学习句法敏感依赖能力

    本研究使用长短期记忆神经网络（LSTM）来探讨其在语言处理中捕捉句法结构的能力，结果表明，在受到显式语法目标的监督时，LSTM 可以捕捉相当数量的语法结构，但是需要更强的架构来进一步减少错误，且语言建模信号不足以捕捉句法敏感的依赖关系，需要更直接的监督。

    Nov, 2016

  • 神经语言模型和人类处理嵌套依赖的机制

    使用深度学习方法训练的人工神经网络可以在一定程度上模拟人类语句处理的神经机制，但由于某些长距离内嵌依赖的影响，尚不支持完全递归，并且在与人类检测单复数一致性方面具有类似的误差模式。

    Jun, 2020

  • 神经语言模型中语法一致机制的因果分析

    通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

    Jun, 2021

  • LSTM 能否学会捕捉一致性？以巴斯克语为例

    该研究主要探讨了顺序神经网络模型在巴斯克语中的一项任务 —— 协议预测，发现这些模型在协议预测上表现不如预期，并提出巴斯克协议预测任务作为学习自然语言正则性的具有挑战性的基准测试。

    Sep, 2018

  • 利用多任务学习探索 RNN 的句法能力

    本论文探究了 RNN 在句法能力、主谓一致性任务方面的表现，并测试了多任务训练是否能够提高其性能，结果表明多任务训练可以提高 RNN 的表现，尤其在复杂句子方面。此外，多任务训练还可以向语言模型中注入语法知识。

    Jun, 2017

  • 结构化监督改善非本地语法依赖关系的学习

    本研究探究了基于分层结构预训练的神经语言模型与 LSTM 模型在学习语音上的差异，并发现基于分层结构的猝死神经网络语法模型具有明显优势。

    Mar, 2019

  • 递归神经网络中语言形式和功能的表示

    本文基于多任务门控循环神经网络的案例，提出了一种识别对网络最终预测贡献的关键词汇并分析 RNNs 激活模式的方法。发现该网络的语言模型层对句法功能词汇更敏感，而预测图像的层对句子的信息结构和语义信息更加敏感，并学会了根据词汇的语法功能进行不同处理，而被分化的各个隐藏单元则用于在长时间步骤中传递信息以编码长期任务相关性。

    Feb, 2016

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018