SES-Adapter 通过将 PLM 嵌入与结构序列嵌入相结合，创建了结构感知的表示方法，进一步提高了下游任务性能。与普通的 PLMs 相比，SES-Adapter 最大程度上提高了下游任务性能达 11%，平均提高了 3%，训练速度也加快了最高 1034% 和平均 362%。即使在低质量的预测结构下，也观察到正向优化。

Apr, 2024

通过针对不同结构相关现象的四个实验，我们评估了 BERT 在原始数据的预训练过程中是否获得了形成结构化概括的归纳偏差，并发现 BERT 在实体 - 助动词倒装，反身代词，以及嵌套从句中动词时态检测中进行了结构化概括，但在 NPI 许可证检测中进行了线性概括，这是迄今为止最有力的支持从原始数据中获取结构性偏差的人工学习器研究结果之一。

Jul, 2020

本论文旨在探讨如何通过加入结构偏置来提高 Transformer 的翻译能力，并且通过 TP-Transformer 和形态结构的分割两种方式来实现。实验表明，这两种方法都能使 Transformer 在翻译土耳其语和伊努伊特语等形态丰富的语言时表现更好，但要考虑数据集的大小。总的来说，结构编码方法可以使 Transformer 更加高效，在少量数据的情况下表现更好。

Aug, 2022

通过深入探究所含特定知识，该研究提出不必再设计模块来捕获 ASTI 的归纳偏差，奠定了 PLEs 可以作为自然标记框架用于 1D 和 2D 标记的基础，进一步提高标记结果的性能，这一方法已在实验中验证其新的最先进水平。

Aug, 2022

本文研究基于 Pre-trained Language Models (PLMs) 的注意力矩阵构建对话结构的方法，提出了一种无监督和半监督的方法来定位和利用 PLMs 中的语篇信息，并在 STAC 语料库上获得了令人鼓舞的结果。

Feb, 2023

本文通过结合词汇调整模型，位置偏差，马尔科夫和翻译方向的一致性等多种结构偏差因子，扩展了注意力神经翻译模型，相比基线模型和标准短语模型在多种语言对中取得了提升，验证了在低资源环境中的有效性。

Jan, 2016

本文提出了两种基于 prompt tuning 的情感分析测试方法：情感联想测验（SAT）和情感转移测试（SST），用以检测 PLMs 中的潜在偏差，并表明 fine-tuning 可能会增加 PLMs 中现有的偏见。

Apr, 2022

本文提出了一种新的适配器方法 StructAdapt，能够快速而高效的嵌入图形结构到预训练语言模型（PLM）中，以解决在 PLMs 中编码结构化数据的挑战，并在仅使用 5.1％的 PLM 参数进行训练的情况下，在两个 AMR-to-text 数据集上优于现有技术。

Mar, 2021

本文研究 NLP 中使用预训练语言模型（PLM）的结构化预测问题，描述了一种基于 PLMs 的结构建模方法，在命名实体识别、端到端关系提取和指代消解三个任务上实现了最新的最优性能。

Oct, 2022

通过使用结构化知识和大型生成模型，在多个偏见维度上以半自动的方式构建多样化反事实数据扩充（CDA），我们提出了一种模块化地消除预训练语言模型中的多个偏见维度。我们强调现有的去偏见方法未考虑多个社会偏见之间的相互作用，并提出了一种在各种社会偏见之间利用协同效应、能够同时进行多偏见去偏见的模型。通过在多个任务和多种语言上进行广泛评估，证明了我们的方法的有效性。

Feb, 2024