我们对 LSTMs 的内部机制进行了详细的研究，发现这些单元部分受其他追踪句法结构的单元的控制，实现了真正的句法处理机制，为深入理解 LSTMs 中的语法编码铺平了道路。

Mar, 2019

通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

Jun, 2021

本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

Apr, 2020

本研究使用长短期记忆神经网络（LSTM）来探讨其在语言处理中捕捉句法结构的能力，结果表明，在受到显式语法目标的监督时，LSTM 可以捕捉相当数量的语法结构，但是需要更强的架构来进一步减少错误，且语言建模信号不足以捕捉句法敏感的依赖关系，需要更直接的监督。

Nov, 2016

本文探讨了如何比较语言模型和人类的能力，并通过一个案例研究表明，给大型语言模型提供一个简单的提示可以使其在处理递归嵌套的语法结构时完善其表现，并指出了评估的差异可能会影响语言模型和人类之间的比较，从而强调了评估认知模型和基础模型之间的重要区别。

Oct, 2022

本论文探究了 RNN 在句法能力、主谓一致性任务方面的表现，并测试了多任务训练是否能够提高其性能，结果表明多任务训练可以提高 RNN 的表现，尤其在复杂句子方面。此外，多任务训练还可以向语言模型中注入语法知识。

Jun, 2017

通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

May, 2020

人们可以从很少的示例中学习一个新词并推断其语法属性。我们从心理语言学中得到启发，进行了一个名词学习实验，以评估 LSTM 和仅解码器的 Transformer 模型是否能够在法语中实现类似人类的语法性别抽象化。我们发现两种语言模型可以有效地从一个到两个学习示例中推广获得新的名词性别，并将所学的性别应用于协议上下文，尽管对于男性性别类别有一定偏倚。重要的是，几次性学习更新仅应用于嵌入层，表明模型在词嵌入空间内编码了足够的性别信息。虽然模型的泛化行为表明它们将语法性别表示为一个抽象的类别，类似于人类，但还需要进一步探索其具体实现细节。为了与人类行为进行比较，我们进行了一项类似的单次学习实验，揭示了如同语言模型一样，法语母语人士也表现出男性性别偏倚，而且也不能很好地进行单次学习。

Mar, 2024

本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

May, 2021

通过测试法语中的性别协议，该研究发现 LSTMs 对需要对长距离句法依赖进行跟踪的语言任务具有高准确性，然而，是否 LSTMs 真正学习了抽象的句法规则和类别依然未知。

Oct, 2022