LSTMs在分析助动词结构时应该/可以学习什么？
本研究使用长短期记忆神经网络（LSTM）来探讨其在语言处理中捕捉句法结构的能力，结果表明，在受到显式语法目标的监督时，LSTM可以捕捉相当数量的语法结构，但是需要更强的架构来进一步减少错误，且语言建模信号不足以捕捉句法敏感的依赖关系，需要更直接的监督。
Nov, 2016
该研究主要探讨了顺序神经网络模型在巴斯克语中的一项任务——协议预测，发现这些模型在协议预测上表现不如预期，并提出巴斯克协议预测任务作为学习自然语言正则性的具有挑战性的基准测试。
Sep, 2018
该研究比较了四种不同的预训练目标（语言模型、翻译、跳跃思考和自编码）对模型学习语言信息和句法信息的影响，结果表明语言模型对于转移学习和需要句法信息的应用最为适合。
Sep, 2018
研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。
Mar, 2019
本研究提出了一种新的基于神经网络的两种表征形式（span和dependency）的句法和语义联合模型，该模型有效地整合了句法信息，最大化优化联合目标，试验结果表明语义和句法可以相互促进，以全新的表现水平取得了 Propbank 基准测试集上的最好成绩。
Aug, 2019
本研究探讨了在跨语言依赖分析的背景下，如何利用类型学来提高性能，而我们的主要发现是将语言聚合成句法同质性群组有助于性能，而将类型维度进行组合式学习的效果并不显著。同时，考虑到所选择语料库的列统计学与类型学相一致时，性能表现也将更为出色。
Sep, 2019
研究基于序列的神经网络与基于树的网络在句法任务上的表现，并比较常见的句法表示方法对句法结构带来的影响，同时发现基于组成结构的网络更具鲁棒性，通过少量构建的数据fine-tune可以显着提高序列模型的性能，表明数据增强是为序列模型注入句法偏置的可行替代方案。
Apr, 2020
通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语-谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语-谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语-谓语一致性生成的两个不同机制。
Jun, 2021
本研究通过分析长距离语法结构的结果显示，与LSTMs相反，Transformers能够捕捉到相当数量的语法结构，从而对神经网络的句法能力评估提出质疑。
Sep, 2021
本文研究荷兰语定语从句的结构歧义，通过研究基于语境的消歧任务，探讨前一句话的存在如何解决定语从句的歧义，应用此方法于两种句法分析结构，结果表明基于证明网的神经符号句法分析器比基于通用依赖的方法更容易纠正数据偏见，然而两种设定都受到相应的初始数据偏见的影响。
May, 2023