循环神经网络（RNNs）作为语言模型（LMs）的经验成功可能与其能够有效地表示人类语言中的有界分层结构有关，并且可以推广其构造以表示更大类别的 LMs，即可以用带有边界堆栈和广义堆栈更新函数的推挤自动机来表示。然而，RNNs 在表示多样化的非分层 LM 类别时的效率表明其缺乏具体的认知和以人类语言为中心的归纳偏见。

Feb, 2024

研究最近聚焦于神经语言模型的成功因素，测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力，本论文重现了最近论文的实验结果，显示了以字符串为基础的句法诱导训练的基本问题。

Apr, 2020

本研究使用控制的心理语言学实验方法，研究神经网络语言模型对句法状态的递增表示程度，发现 LSTM 序列模型在训练大型数据集时能够对文本中的广泛句法状态进行有效的表示，而对小型数据集的训练效果不如递归神经网络 (RNNG)。

Mar, 2019

使用长短时记忆神经网络模型探索了自然语言中的分层结构，结果显示 LSTM 无法学习到相关的上下文无关规则，但仍是许多自然语言任务的高效工具之一。

Nov, 2018

本研究探究了基于分层结构预训练的神经语言模型与 LSTM 模型在学习语音上的差异，并发现基于分层结构的猝死神经网络语法模型具有明显优势。

Mar, 2019

本篇论文旨在探讨 RNN 语言模型在语法结构方面的表现，研究填充语与间隔的依赖关系及语法岛的限制，通过控制实验证明了该模型在岛屿限制下仍能维持填充语与间隔的依赖关系，模型的行为是基于更精细的期望而非粗略的句法复杂性，但在某些表现特征上与人类不相似。

May, 2019

本文通过探究无监督条件下对成分结构的学习，提出了使用一种技术从堆叠循环神经网络的推送行为中提取句法树，证明堆叠循环神经网络确实推断出了具有语言学相关的层次结构。

Jun, 2019

本研究以 LSTMs 和 Transformers 为例子，通过与儿童语言输入类似的数据培训这两种没有分层偏见的神经网络，进而评估它们对英语的 yes/no 问题的理解。研究结果表明，在使用文本自然语言作为语言输入时，这两种模型都更接近于错误的线性规则而非正确的层级规则，推测人类对自然语言的依赖性需要更强的偏见。

Jan, 2023

该研究考察了语言模型在处理文本时是否能够检索先前出现的确切单词，并发现 transformers 模型可以从第一次出现的名词清单中提取词语的身份和排序，而 LSTM 模型则更加侧重于先前单词的语义要点，以及其与列表中其他单词的关系。

Oct, 2022

该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

Mar, 2024