循环神经网络语言模型总是学习类似于英语的关系从句连接
该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。
Aug, 2018
通过多语言的句法评估套件 CLAMS，调查神经词语预测模型在各种语言中学习语法的能力，结果表明单语 LSTMs 在句子成分及吸引子存在时达到了很高的精度，而在其他方面的一致性准确率较低，多语言模型通常表现不如单语模型。
May, 2020
通过构造符合主要句法变异的受控句子刺激，研究发现 RNN 语言模型能够复现人类在句法变异中基于名词短长、生命力和确定性等因素的偏好，并且能够与人类评估结果相匹配，考虑到 N-gram 基准模型的情况，这说明了 RNNs 学习了在句法变异中概括名词重量、生命力和确定性等抽象特征。
Nov, 2018
神经语言模型（LM）在许多技术任务上的成功使其潜在相关性作为语言科学理论得以体现，尽管 LM 训练和儿童语言习得之间存在一些明显的差异。本文认为一些用于评估 LM 语法能力的主要基准可能不够严格，并表明基于模板的基准缺乏语言理论和心理学研究中常见的结构多样性。当用小规模数据对儿童语言习得进行建模时，LM 可以轻易地被简单的基准模型匹配。我们提倡使用现成的、经过精心策划的数据集，这些数据集已由大量母语用户进行了梯度可接受性评估，并旨在特别探索语法的结构基础。在这样一种数据集（LI-Adger 数据集）上，LM 在评估句子时与人类语言用户的方式不一致。最后，我们提出了更好地将 LM 与儿童语言习得的实证研究进行联系的建议。
Oct, 2023
通过句子级探测、诊断案例和掩蔽预测任务的评估，我们针对相对子句测试了三种模型（BERT，RoBERTa 和 ALBERT）的语法和语义知识，在自然数据集上，探测表明三种模型确实捕获了关于语法正确性的语言知识，但对包括语义知识在内的细粒度语言知识的诊断案例和掩蔽预测任务的评估显示明显的模型特定弱点，强烈影响模型性能。因此，我们的结果突出了通过模型比较进行评估任务和建立模型性能声明及其捕获的语言知识的重要性，超越纯粹的探测评估。
Nov, 2020
本文研究了如何将 RNN 语言模型与句子的句法依赖相结合，以提高递归神经网络 (RNN) 语言模型的性能和准确率，并在 Microsoft Research Sentence Completion Challenge 的评估中展示了其优越性，并达到了同类最先进模型的效果。
Jul, 2015
通过依存句法树到常量句法树的转换，使用递归神经网络语法模型（RNNGs）进行训练，并在多语言环境下进行了实证评估，来探讨在学习模型时哪种树形式最佳，对哪些语言最适用，并通过七种类型的句法测试比较了 9 种转换方法和 5 种语言的语言模型表现，研究结果显示，最佳模型相对于最差模型在所有语言中的精确度提高了 19％，也证明了在多语言环境中注入语法的积极作用。
Apr, 2022
研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。
Mar, 2019
研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的 LMs 与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。
Mar, 2020