本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

Apr, 2019

研究最近聚焦于神经语言模型的成功因素，测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力，本论文重现了最近论文的实验结果，显示了以字符串为基础的句法诱导训练的基本问题。

Apr, 2020

研究了现代神经语言模型在少量训练下模仿英语句法结构的能力，发现这些模型能够从最少的训练样本中正确识别并推广句法规律，但在接受结构性监督的情况下表现更好。

Oct, 2020

本研究探讨了 Bert 和 RoBERTa 等单语和多语版本的句法泛化能力，使用 SyntaxGym 测试套件和其在西班牙语中的替代品 SyntaxGymES 对英语和西班牙语进行了测试。

May, 2021

本文介绍了一种评估神经模型能否学习自然语言的单调性推理系统性的方法，并考虑了语法结构的重要性，实验表明神经模型的推理性能在语法结构相同的情况下很好。

Apr, 2020

本文讨论深度自然语言理解模型的系统性问题，通过在自然语言推理（NLI）中进行一系列实验，证明了一些 NLU 系统虽然不具备系统性，但仍能够达到高的整体表现。

May, 2020

在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。

Jan, 2023

该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

Aug, 2018

本研究研究了同一神经网络架构在同一数据集上多次训练后是否在不同运行中进行相似的语言概括，通过在 Multi-genre 自然语言推理（MNLI）数据集上微调 100 个 BERT 实例并在评估自然语言推理中的句法概括的 HANS 数据集上对它们进行了评估，这类变异很可能是由于在局部极小值处的神经网络中出现的损失函数梯度等的不同选择而存在的，而减少变异可能需要具有更强归纳偏差的模型。

Nov, 2019

本文提出了一种新型神经体系结构，它由语法模型支持，旨在将自然语言描述解析为基于 Python 等通用编程语言的源代码，并将其显式地捕获为先验知识，以实现从自然语言描述生成复杂程序的规模化。实验证明，这是一种有效缩放到语言描述的复杂程序的方法，取得了优于以前代码生成和语义解析方法的最新成果。

Apr, 2017