本文旨在探讨通过预训练句子编码器加语言建模和相关无监督任务，再加上富数据的有监督任务，如自然语言推断等方式进一步训练，可显著提高 GLUE 基准测试性能并降低随机重启的变异性，并证明该方法特别适用于数据受限制的条件下。

Nov, 2018

该研究比较了四种不同的预训练目标（语言模型、翻译、跳跃思考和自编码）对模型学习语言信息和句法信息的影响，结果表明语言模型对于转移学习和需要句法信息的应用最为适合。

Sep, 2018

本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

Nov, 2021

本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

Sep, 2019

本文介绍了一组有效的互补方法，用于将表示馈送到预训练的无条件语言模型中，以及一组方法来映射句子到该表示空间中，并通过找到点的方式调查语言模型生成句子的可能性。我们发现，可以不修改任何模型参数，使用中等大小的表示和语言模型几乎完美地恢复任意句子。

Jul, 2019

通过四种探究方法，我们发现语言模型只需要大约 100M 的单词量，就能够可靠地编码大多数句法和语义特征，而大量的数据需要用来获得足够的常识和其他技能，以掌握典型的下游 NLU 任务。

Nov, 2020

本文主要研究神经网络中的自然语言处理，通过将 BERT 知识蒸馏成单层 BiLSTM 及其同侧对应的句对任务，证明了浅层神经网络仍然可以在不使用架构变化、外部训练数据或其他输入特征的情况下，与 ELMo 相比获得可媲美的结果。

Mar, 2019

本篇论文提出一种基于自编码器和预训练 transformer 语言模型的文本表示学习方法，通过只训练句子编码和单层 transformer 解码器，获取良好的句子表示，超过了使用预训练 transformer 模型在各类文本任务中的表现，且参数规模更小。

Aug, 2021

本文研究预训练自然语言处理模型在下游任务中使用的训练样本数量与性能之间的关系，研究发现，随着训练样本的数量达到百万级别，使用 BERT 预训练模型和从头开始训练的 LSTM 模型之间的准确度差距缩小到不到 1％，暗示随着监督数据规模的增大，MLM 模型可能会达到递减的收益点。

Jun, 2020

利用 oLMpics 基准和心理语言学探测数据集，我们对包括 T5、BART 和 ALBERT 在内的 29 个模型进行了多样化的分析。结果表明，这些模型都无法以零样本的方式解决组成性问题，并且全局模型决策也不能预测模型的语言能力。

May, 2022