XLNet：语言理解的泛化自回归预训练

Jun, 2019

XLNet：语言理解的泛化自回归预训练

XLNet: Generalized Autoregressive Pretraining for Language Understanding

Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov...

TL;DR我们提出了 XLNet—— 一种广义的自回归预训练方法，它通过最大化分解顺序的所有排列的期望似然来学习双向上下文，并且集成了 Transformer-XL 的思想，从而在 20 项任务中胜过了 BERT，包括问题回答、自然语言推断、情感分析和文档排名等方面。

Abstract

With the capability of modeling bidirectional contexts, denoising autoencoding based pretraining like BERT achieves better performance than pretraining approaches based on autoregressive language modeling. However, relying on corrupting the input with masks, BERT neglects dependency be

xlnet autoregressive pretraining bidirectional contexts transformer-xl nlp

发现论文，激发创造

MPNet：掩码及排列预训练语言理解模型

本文提出一种新型的预训练方法 MPNet，它继承了 BERT 和 XLNet 的优点，通过排列语言建模和输入附加的位置信息来解决它们的缺点，有效地提高了 GLUE、SQuAD 等下游任务的精度，并与之前的最先进的预训练方法（例如 BERT、XLNet、RoBERTa）相比获得更好的结果。

Apr, 2020

使用 XLNet 进行句子后编辑的 XL-Editor

本文提出了一种名为 XL-Editor 的框架，通过可变长度插入概率使得 XLNet 模型可以修改给定的句子并进行后处理操作，无需按照自左向右的生成顺序；基于此，本文首先在文本插入和删除任务上展示了 XL-Editor 的改进效果，随后在非成对文本风格转换任务中实现了重大进展。

Oct, 2019

GLM: 基于自回归空白填充的通用语言模型预训练

本文提出了一种基于自回归的空白填充预训练方法称为 GLM，该方法通过添加 2D 位置编码和允许任意顺序来预测跨度来改进填空预训练。实验证明 GLM 在自然语言理解、有条件和无条件生成任务上的性能表现要好于 BERT、T5 和 GPT，预训练时还可以将空白的数量和长度改变以适应不同的任务类型。

Mar, 2021

将多语言理解模型推广为多语言生成器

这篇论文介绍了如何通过一种 SEMANTIC-GUIDED ALIGNMENT-THEN-DENOISING (SGA) 方法将一个多语言编码器 (XLM-R) 转化成一个强大的生成模型，实验结果表明改进的模型在机器翻译、问题生成和故事生成等任务中的表现均优于现有的方法。

May, 2023

NarrowBERT: 增强遮蔽语言模型的预训练和推理速度

本文介绍了一种修改的 transformer 编码器 --NarrowBERT，其通过使自注意力查询和前向层仅在预训练期间的屏蔽令牌上操作，从而增加了掩码语言模型预训练的吞吐量。此外，本文还显示，与 MNLI 等句子编码任务相比，NarrowBERT 在推理时间的吞吐量提高了多达 3.5 倍，性能降低最小（或没有），并且在 IMDB，亚马逊评论分类和 CoNLL NER 任务上的 NarrowBERT 表现也与标准 BERT 相当。

Jan, 2023

面向多语言掩码语言建模的大规模 Transformer

本研究探讨了跨语言语言模型预训练的有效性，并且提出了两个参数分别为 3.5B 和 10.7B 的大型多语言掩码语言模型，这两个新模型分别称为 XLM-R XL 和 XLM-R XXL，在 XNLI 中的平均准确率比 XLM-R 高 1.8％和 2.4％，同时处理了 99 种以上的语言，优于 RoBERTa-Large 模型，表明拥有更大容量的预训练模型可以在高资源语言上取得强大的性能，同时极大地改善了低资源语言。

May, 2021

神经机器翻译的通用条件掩码语言预训练

本文介绍了一种 CeMAT 方法，即一种在双语和单语语料库上进行预训练的条件掩码语言模型，其中包括双向解码器，通过该方法可以在低资源及高资源语言下分别提高 14.4 BLEU 和 7.9 BLEU 及能显著提高 Autoregressive NMT 的性能。此外，本文还首次在 NMT 任务上使用了统一预训练模型，并提供相关数据和模型。

Mar, 2022

大规模跨语言无监督表示学习

通过在 100 种语言上使用超过 2TB 的 CommonCrawl 数据对基于 Transformer 的掩蔽语言模型进行大规模的预训练，该模型命名为 XLM-R，显著优于 mBERT，在跨语言基准测试中实现了 + 14.6％和 + 13％的平均准确性和 F1 分数，并改善了 10 个低资源语言的准确性，显示了前景。

Nov, 2019

PALM: 为上下文有条件生成训练自编码和自回归语言模型的预训练

本文提出了一种新颖的方法 PALM，用于在大规模无标签语料库上联合预训练自编码和自回归语言模型，特别为给定上下文生成新文本设计，实验证明该方法在各种语言生成基准测试中均取得了新的最优结果。

Apr, 2020

Speech-XLNet: 用于自我注意力网络的无监督声学模型预训练

本文提出了一种无监督预训练方案 “Speech-XLNet”，利用 XLNet 进行自注意力网络（SAN）无监督预训练得到语音表示，可以在混合 SAN / HMM 框架下微调。实验表明，Speech-XLNet 相比于从随机初始化权重训练的模型，在 TIMIT 和 WSJ 任务中都能显著提高 SAN / HMM 的性能，包括收敛速度和识别准确性。

Oct, 2019