研究现代神经语言模型在结构启动方面的易感性，探讨如何利用启动来研究这些模型学习抽象结构信息的潜力，引入新度量和发布大型语料库 Prime-LM，发现 Transformer 模型确实显示结构启动的证据，但也显示出它们学习的概括在某种程度上受语义信息的调节，综合实验表明，模型获得的表示不仅编码抽象的连续结构，还涉及某些层次的句法信息。

Sep, 2021

研究最近聚焦于神经语言模型的成功因素，测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力，本论文重现了最近论文的实验结果，显示了以字符串为基础的句法诱导训练的基本问题。

Apr, 2020

大型语言模型中存在类似人类的抽象的单语和跨语言语法表示，这些语法表示在不同语言中可以产生因果影响。

Nov, 2023

通过评估循环神经网络（RNN）和 Transformer 在复制跨语言结构启动方面的表现，这项研究对人类语言处理中抽象语法表示的关键指标进行了评估。研究重点关注涉及两种类型不同的语言的中英启动，探讨这些模型如何处理结构启动这一稳定现象，即暴露于特定句子结构会增加之后选择类似结构的可能性。此外，我们还利用大型语言模型（LLM）来衡量跨语言结构启动效果。研究结果表明 Transformer 在生成启动句子结构方面的性能优于 RNN，挑战了人类句子处理主要涉及循环和即时处理的传统观念，同时表明了基于线索的检索机制的作用。总体而言，这项工作对于了解计算模型如何反映多语言环境中人类认知过程具有重要贡献。

May, 2024

该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

Mar, 2024

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

本研究使用控制的心理语言学实验方法，研究神经网络语言模型对句法状态的递增表示程度，发现 LSTM 序列模型在训练大型数据集时能够对文本中的广泛句法状态进行有效的表示，而对小型数据集的训练效果不如递归神经网络 (RNNG)。

Mar, 2019

我们研究了语言模型预测中在句子和单词级别发挥重要作用的语言因素，并调查这些因素是否反映了人类和人类语料库中的结果。我们利用结构启动范式，其中对结构的最近暴露有助于相同结构的处理。我们不仅调查了引导效果是否发生，还调查了它们发生的位置以及预测它们的因素。我们表明，这些效应可以通过逆频率效应来解释，即在人类引导中众所周知，引导中的较罕见元素增加引导效果，以及引导和目标之间的词汇依赖性。我们的结果为如何理解上下文中的属性如何影响语言模型中的结构预测提供了重要线索。

Jun, 2024

通过使用 Tagging 模型，对预先训练好的语言模型的输入序列增加预处理，从而提高关联结构提取的精度，并在多语言数据集上进行了广泛的实验及分析，并提出了一种快速且准确的近似方法

May, 2022

本文提出了一种基于探测任务的神经网络模型的韧性度量方法，在通过语言模型中提取出的语言结构上评估了四种大型语言模型的一致性和鲁棒性，并发现神经网络的新兴句法表示具有脆弱性。

Oct, 2022