我们研究了语言模型预测中在句子和单词级别发挥重要作用的语言因素，并调查这些因素是否反映了人类和人类语料库中的结果。我们利用结构启动范式，其中对结构的最近暴露有助于相同结构的处理。我们不仅调查了引导效果是否发生，还调查了它们发生的位置以及预测它们的因素。我们表明，这些效应可以通过逆频率效应来解释，即在人类引导中众所周知，引导中的较罕见元素增加引导效果，以及引导和目标之间的词汇依赖性。我们的结果为如何理解上下文中的属性如何影响语言模型中的结构预测提供了重要线索。

Jun, 2024

本文研究了预训练模型在通用语言中层次化句法功能的作用，通过诊断语法转换任务来诊断预训练参数的归纳偏差，结果表明，模型深度对于层次化泛化具有更大的作用，同时，在训练规模方面，使用适当的语料库预训练可以提高效率。

May, 2023

提出了一种新的技术来分析神经语言模型在句法结构敏感性方面的代表性，并证明 LSTM LMs 对于具有关系从句的不同类型的句子的表示是按照语言可解释的层次结构组织的，表明 LMs 跟踪句子的抽象属性。

Sep, 2019

本文使用 Hindi 语料库和适应性神经语言模型，模拟词汇和语言结构的启动作用，并通过对预先构建的语料与人工生成的语料在句子成分上的差异进行逻辑回归分析，发现不同的启动机制独立并互补地作用于动词类别。

Oct, 2022

研究现代神经语言模型在结构启动方面的易感性，探讨如何利用启动来研究这些模型学习抽象结构信息的潜力，引入新度量和发布大型语料库 Prime-LM，发现 Transformer 模型确实显示结构启动的证据，但也显示出它们学习的概括在某种程度上受语义信息的调节，综合实验表明，模型获得的表示不仅编码抽象的连续结构，还涉及某些层次的句法信息。

Sep, 2021

研究神经序列到序列模型中的归纳偏差如何影响其推广行为，发现只有采用具有语法结构的树状模型才能保持类人语法推广能力。

Jan, 2020

使用一系列神经视觉语法归纳模型，通过同时学习句法和语义来展示语义引导和句法引导对语言习得的影响，并表明联合学习能够提高语法归纳、词类学习和新句子和动词意义的解释。联合学习通过相互约束句法和语义的假设空间，使得语言习得对学习者更容易。同时，研究联合推理的动态过程对于语言建模和学习研究来说是一个重要的新方向，在认知科学和人工智能领域可以帮助我们解释如何在更受限的学习环境中学习语言。

Jun, 2024

我们在本文中介绍了两种归纳偏差方法，分别针对语法结构和依赖关系，实现了深度学习模型的归纳偏差，并通过这些方法建立了深度学习模型的潜在分层表示，使模型能够处理复杂的序列结构并在语言处理任务中取得了优秀的效果。

Jun, 2022

本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

Oct, 2021

该论文介绍了一种语言模型，它利用句法结构从单词历史中提取有意义的信息，从而使得可以使用远距离依赖关系。该模型分配概率给每个单词序列 - 带头词注释的二元解析结构，并以左到右的方式运作，因此适用于自动语音识别。通过一系列实验来评估预测能力，该模型及其概率参数化对标准三元模型进行了改进。

Nov, 1998