通过在人工语言上预训练编码器并探究其在自然语言处理中的表现，研究神经网络编码器中可迁移的结构知识，发现嵌套依赖结构的人工语言的预训练可以提供一些可迁移的知识，并且转移的成功与编码器中编码的上下文信息量相关，转移的是语言上下文依赖的位置感知知识。

Mar, 2022

本文探究了神经语言模型（NLM）在调整细节后所学习到的语言知识及其对于多种分类问题的预测影响，结合多重探测任务发现，尽管 BERT 能够编码多种语言特征，但在特定的下游任务训练后往往导致相关信息丢失，而 BERT 对于不同语言属性的编码能力将正面影响它的预测能力。

Oct, 2020

本文研究对先前已经预训练好的 Bert、RoBERTa 和 XLNet 等神经语言模型通过微调来改进下游自然语言处理任务的表现，并使用层级和神经元级别的诊断分类器来检查这些模型的语言知识的学习方式，发现这些模型对于不同的任务有不同的语言知识保留或遗忘方式，这种模式在三个模型中都有所不同。

May, 2021

使用 Pareto Optimality 观点研究编码的语言信息和任务性能之间的动态关系，提出了一种多目标优化的方法，通过对两个流行的 NLP 任务进行实验发现，一些句法信息有助于 NLP 任务，而编码更多的句法信息不一定能够提高性能。

Mar, 2022

提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

Apr, 2018

本文研究了大型预训练语言模型中内嵌的语言知识，并探索了同时存在的竞争性语言过程如何影响模型行为。通过对四种语言中的一个现象进行实验，发现模型行为存在跨语言差异。而有针对性的微调可以重新建立学习的约束，揭示模型中否则未表现出的语言知识。

Jun, 2021

引入了 IT5 模型，这是首个在意大利语上进行预训练的编码器 - 解码器 Transformer 模型家族，研究表明，它在大多数条件语言生成任务中表现出比其多语种对应物更好的性能。

Mar, 2022

在 GLUE 基准测试中，通过使用平凡的图表进行任务处理，可以实现具有竞争力甚至更好的性能，并揭示出增益可能不是明确的语言先验，而是由融合层带来的更多特征交互。因此，我们呼吁注意未来使用平凡的图表作为必要的基线来设计高级知识融合方法。

Oct, 2022

本文提出了一种方法来探测在预训练语言模型中进行逻辑推理需要的语言现象，发现预训练语言模型对于一些推理所需要的语言信息进行了编码，同时也发现了有一些信息的编码比较弱，但是预训练语言模型通过微调能够有效地学习到缺失的语言信息。这些结果为语言模型作为支持符号推理方法的语义和背景知识库的潜力提供了有价值的见解。

Dec, 2021

该研究比较了四种不同的预训练目标（语言模型、翻译、跳跃思考和自编码）对模型学习语言信息和句法信息的影响，结果表明语言模型对于转移学习和需要句法信息的应用最为适合。

Sep, 2018