本研究以 LSTMs 和 Transformers 为例子，通过与儿童语言输入类似的数据培训这两种没有分层偏见的神经网络，进而评估它们对英语的 yes/no 问题的理解。研究结果表明，在使用文本自然语言作为语言输入时，这两种模型都更接近于错误的线性规则而非正确的层级规则，推测人类对自然语言的依赖性需要更强的偏见。

Jan, 2023

研究神经序列到序列模型中的归纳偏差如何影响其推广行为，发现只有采用具有语法结构的树状模型才能保持类人语法推广能力。

Jan, 2020

透过对自然语言数据训练的 Transformer 模型的研究和实验证明，具备语言建模目标的 Transformer 模型更容易学习和推广层次结构，并在处理无法预见的句法结构的句子时表现优异。

Apr, 2024

本文研究了递归神经网络中选择性跟踪语言抽象层级结构的能力，并测试了递归神经网络在四种语言（意大利语、英语、希伯来语、俄语）中使用语言模型目标进行训练是否能够预测各种结构中的长距离数字一致性，结果表明递归神经网络能够可靠地预测长距离一致性而不依赖于词汇或语义信号，支持递归神经网络不仅是浅层模式学习器，而且还能获得较深语法能力的假设。

Mar, 2018

本研究介绍一组实验，以证明深度递归神经网络（RNN）可以从高度多变的监督中学习到捕捉软层级句法概念的内部表征。我们考虑了四个句法任务，每个词的词性以及出现在其上方的第一（parent）、第二（grandparent），第三层级（great-grandparent）的构成标签。我们发现每个网络深度与句法层级之间存在对应关系，这表明出现了柔和的句法层级。这个效应在所有条件下都是强有力的，这表明即使没有显式的句法训练监督，这些模型也编码了大量句法信息。

May, 2018

通过针对不同结构相关现象的四个实验，我们评估了 BERT 在原始数据的预训练过程中是否获得了形成结构化概括的归纳偏差，并发现 BERT 在实体 - 助动词倒装，反身代词，以及嵌套从句中动词时态检测中进行了结构化概括，但在 NPI 许可证检测中进行了线性概括，这是迄今为止最有力的支持从原始数据中获取结构性偏差的人工学习器研究结果之一。

Jul, 2020

本文通过处理嵌套算数表达式的人工任务来研究神经网络如何学习和处理具有分层组合语义的语言，并发现递归神经网络和门控循环单元网络也可以在此任务上表现得十分出色。同时，我们提出诊断分类器的方法，可以有效地帮助我们了解神经网络的内部动态，这种方法可扩展至真实数据的更复杂和更深层的循环神经网络，有望推动当前最先进的自然语言处理模型的内部机理的更深入理解。

Nov, 2017

本研究旨在探究神经语言模型是否能够在单线性序列输入的情况下提取层次信息，并通过中心嵌套句子和语法岛约束等自然语言现象的实验研究证明：LSTM 能够识别和利用堆栈数据结构来存储和获取一定数量的语言层次结构。

Jun, 2019

通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。

Feb, 2023

比较循环神经网络和非循环神经网络对于建模层级结构的能力，发现循环神经网络在这方面的重要性。

Mar, 2018