训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

该论文研究了利用大规模神经语言模型生成的上下文词表示对于自然语言处理任务的有效性及其可迁移性。结果表明，虽然这些表示在许多任务中表现出色，但对于需要细粒度语言知识的任务（如连词识别）而言，它们还不能胜任。此外，作者还比较了不同预训练和监督预训练方法对于任务训练的影响。

Mar, 2019

该研究提出一种新的预训练目标 Sparse Latent Typing，让模型能够从文本中提取具有多样化潜在类型的稀疏关键词，实现对句子的深层理解，结果表明该模型通过自监督学习能够学习到可解释的潜在类型分类，同时显著提高了有监督和少样本信息抽取任务的效果。

Oct, 2022

通过增加一个新的目标，明确指出输入中的标签符号空间，并通过添加 [MASK] 符号来预测标签类别，以此来建立标签符号空间与句子符号空间之间的连接，并通过相邻表示的正则化来进一步指导传播，从而为有监督学习任务学习出表达丰富的句子表示，这样的模型能够在仅调整了冻结预训练模型的 5％的额外参数的情况下，实现可比的分类结果和强大的表达能力。

May, 2022

该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

Aug, 2018

本文通过数学研究自回归语言模型预训练在下游任务中的应用，提出了将分类任务转化为句子填充任务的假设，证实表现好的语言模型可以是有意义的预训练任务，并给出了相应的数学形式化，同时通过分析认为语言模型可以有助于线性解决分类任务。

Oct, 2020

本文首次对 19 个候选预训练任务进行了系统研究，比较了它们作为语言建模替代方案和互补方案的不同表现。研究结果支持使用语言建模，尤其是结合预先训练的其他标记数据任务。然而，研究结果混杂，显示出一些令人担忧的趋势，同时也展示出更复杂的多任务和转移学习技术的发展作为进一步研究的途径。

Dec, 2018

通过在人工语言上预训练编码器并探究其在自然语言处理中的表现，研究神经网络编码器中可迁移的结构知识，发现嵌套依赖结构的人工语言的预训练可以提供一些可迁移的知识，并且转移的成功与编码器中编码的上下文信息量相关，转移的是语言上下文依赖的位置感知知识。

Mar, 2022

本文研究了在多任务学习框架下，辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案，提出三种方法以提高翻译质量，实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。

Jul, 2021

该文章介绍了近期在自然语言处理中提高模型性能所用的三种方法：更加复杂的语言模型、更大的语料库和并行计算，总结了一些最近两年新增的大型预训练语言模型，并探讨了新架构与资源所带来的影响，以此为起点提供了一些方便可复制的研究结果。

Jan, 2020