研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。

Mar, 2019

该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

Aug, 2018

本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

Sep, 2018

本研究使用长短期记忆神经网络（LSTM）来探讨其在语言处理中捕捉句法结构的能力，结果表明，在受到显式语法目标的监督时，LSTM 可以捕捉相当数量的语法结构，但是需要更强的架构来进一步减少错误，且语言建模信号不足以捕捉句法敏感的依赖关系，需要更直接的监督。

Nov, 2016

通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

Jun, 2021

该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。

Apr, 2022

该研究主要探讨了顺序神经网络模型在巴斯克语中的一项任务 —— 协议预测，发现这些模型在协议预测上表现不如预期，并提出巴斯克协议预测任务作为学习自然语言正则性的具有挑战性的基准测试。

Sep, 2018

本研究介绍一组实验，以证明深度递归神经网络（RNN）可以从高度多变的监督中学习到捕捉软层级句法概念的内部表征。我们考虑了四个句法任务，每个词的词性以及出现在其上方的第一（parent）、第二（grandparent），第三层级（great-grandparent）的构成标签。我们发现每个网络深度与句法层级之间存在对应关系，这表明出现了柔和的句法层级。这个效应在所有条件下都是强有力的，这表明即使没有显式的句法训练监督，这些模型也编码了大量句法信息。

May, 2018

通过构造符合主要句法变异的受控句子刺激，研究发现 RNN 语言模型能够复现人类在句法变异中基于名词短长、生命力和确定性等因素的偏好，并且能够与人类评估结果相匹配，考虑到 N-gram 基准模型的情况，这说明了 RNNs 学习了在句法变异中概括名词重量、生命力和确定性等抽象特征。

Nov, 2018

通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

May, 2020