人们可以从很少的示例中学习一个新词并推断其语法属性。我们从心理语言学中得到启发，进行了一个名词学习实验，以评估 LSTM 和仅解码器的 Transformer 模型是否能够在法语中实现类似人类的语法性别抽象化。我们发现两种语言模型可以有效地从一个到两个学习示例中推广获得新的名词性别，并将所学的性别应用于协议上下文，尽管对于男性性别类别有一定偏倚。重要的是，几次性学习更新仅应用于嵌入层，表明模型在词嵌入空间内编码了足够的性别信息。虽然模型的泛化行为表明它们将语法性别表示为一个抽象的类别，类似于人类，但还需要进一步探索其具体实现细节。为了与人类行为进行比较，我们进行了一项类似的单次学习实验，揭示了如同语言模型一样，法语母语人士也表现出男性性别偏倚，而且也不能很好地进行单次学习。

Mar, 2024

本研究使用长短期记忆神经网络（LSTM）来探讨其在语言处理中捕捉句法结构的能力，结果表明，在受到显式语法目标的监督时，LSTM 可以捕捉相当数量的语法结构，但是需要更强的架构来进一步减少错误，且语言建模信号不足以捕捉句法敏感的依赖关系，需要更直接的监督。

Nov, 2016

该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

Aug, 2018

我们对 LSTMs 的内部机制进行了详细的研究，发现这些单元部分受其他追踪句法结构的单元的控制，实现了真正的句法处理机制，为深入理解 LSTMs 中的语法编码铺平了道路。

Mar, 2019

通过多语言的句法评估套件 CLAMS，调查神经词语预测模型在各种语言中学习语法的能力，结果表明单语 LSTMs 在句子成分及吸引子存在时达到了很高的精度，而在其他方面的一致性准确率较低，多语言模型通常表现不如单语模型。

May, 2020

该研究主要探讨了顺序神经网络模型在巴斯克语中的一项任务 —— 协议预测，发现这些模型在协议预测上表现不如预期，并提出巴斯克协议预测任务作为学习自然语言正则性的具有挑战性的基准测试。

Sep, 2018

使用深度学习方法训练的人工神经网络可以在一定程度上模拟人类语句处理的神经机制，但由于某些长距离内嵌依赖的影响，尚不支持完全递归，并且在与人类检测单复数一致性方面具有类似的误差模式。

Jun, 2020

该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。

Apr, 2022

本文研究了递归神经语言模型及其在语法现象处理方面的应用，并提出了基于上下文分解的泛化方法来更好地分析模型的决策基础，发现模型在处理语法一致性及指代消解任务时往往依赖于默认推理效应。

Sep, 2019

该研究通过在不同语言的多语言语言模型和单语 BERT 模型中执行反事实扰动，并观察模型主谓一致概率的效果，发现了受语法一致性影响的神经元的分布情况，语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。

Oct, 2022