本文介绍一种名为 StructBERT 的新型预训练语言模型，该模型通过引入语言结构的两个辅助任务进行预训练，包括单词和句子级别的结构，以适应不同水平的下游任务，其在各种下游任务上表现良好，包括 GLUE 基准测试的 89.0，SQuAD v1.1 问答的 F1 分数为 93.0，SNLI 的准确度为 91.7。

Aug, 2019

在这篇文章中，我们描述了我们在 2023 年 BabyLM 挑战赛上对数据高效的语言模型（LM）预训练的提交。我们使用结构型语言模型架构以及其变种，将有关层次化句子结构的无监督预测纳入模型架构中，并在 39 个 BabyLM 挑战赛提供的任务上进行了评估，结果显示在某些特定任务上，将层次化偏差整合到架构中的模型表现出有希望的改进，尽管它们未能在所有任务上始终超过挑战赛组织者提供的 RoBERTa 基准模型。

Oct, 2023

本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

Jul, 2021

通过在人工语言上预训练编码器并探究其在自然语言处理中的表现，研究神经网络编码器中可迁移的结构知识，发现嵌套依赖结构的人工语言的预训练可以提供一些可迁移的知识，并且转移的成功与编码器中编码的上下文信息量相关，转移的是语言上下文依赖的位置感知知识。

Mar, 2022

本研究通过对语言模型进行先验的结构性偏置，探索了不同感性学习偏差的影响，并研究了三种感性偏差的相对成功：1）递归，分层处理的感性偏差；2）无法通过上下文自由文法建模的无限制令牌 - 令牌依赖的感性偏差；和 3）一个 Zipfian 幂律词汇分布的感性偏差。我们发现，复杂的令牌 - 令牌交互形成了最好的感性偏向，并且在非上下文自由情况下最强。同时，我们还表明，独立于语法结构，Zipfian 词汇分布形成一个良好的感性偏向。

Apr, 2023

本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

May, 2021

本文研究 NLP 中使用预训练语言模型（PLM）的结构化预测问题，描述了一种基于 PLMs 的结构建模方法，在命名实体识别、端到端关系提取和指代消解三个任务上实现了最新的最优性能。

Oct, 2022

我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

使用结构化提示技术，我们证明了预先训练的语言模型（PLMs）可以在零或少量样本情况下执行标记任务，而不是仅靠表面级别的词汇模式，这表明 PLMs 包含了一种通用的语言学知识表示方式。

Nov, 2022

本文提出一种可以在没有语篇分析器或额外注释的情况下，从数据中学习具有结构感知能力的文档表示的模型，该模型通过将可微分非项目句法分析算法嵌入神经模型，使用注意机制来结合结构偏置，从而产生具有解释性和意义的中间结构，并在不同任务和数据集上实验验证表明，该模型在文档建模任务中取得了最先进的结果。

May, 2017