Apr, 2020

MPNet：掩码及排列预训练语言理解模型

PDF
TL;DR本文提出一种新型的预训练方法 MPNet，它继承了 BERT 和 XLNet 的优点，通过排列语言建模和输入附加的位置信息来解决它们的缺点，有效地提高了 GLUE、SQuAD 等下游任务的精度，并与之前的最先进的预训练方法（例如 BERT、XLNet、RoBERTa）相比获得更好的结果。
发现论文，激发创造
  • PERT: 使用排列语言模型对 BERT 进行预训练

    本文提出了一种新的预训练语言模型 (PERT)，它是一种自动编码模型，使用排列语言模型技术进行训练，并应用全词遮盖和 N-gram 遮盖以提高其性能。实验结果表明，PERT 可以在某些任务上比其他相似模型有更好的性能表现。

    Mar, 2022

  • UniLMv2：伪掩码统一语言模型预训练

    本文提出了一种称为 Pseudo-Masked Language Model（PMLM）的新训练程序，用于预训练统一的语言模型以处理自动编码和部分自回归语言建模任务，并通过自我注意力掩码和位置嵌入来避免冗余计算，在自然语言理解和生成任务方面取得了新的最先进的结果。

    Feb, 2020

  • XLNet：语言理解的泛化自回归预训练

    我们提出了 XLNet—— 一种广义的自回归预训练方法，它通过最大化分解顺序的所有排列的期望似然来学习双向上下文，并且集成了 Transformer-XL 的思想，从而在 20 项任务中胜过了 BERT，包括问题回答、自然语言推断、情感分析和文档排名等方面。

    Jun, 2019

  • 视觉语言领域数据效率掩码语言建模

    本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

    Sep, 2021

  • 简单却令人沮丧的预训练替代方法：掩码语言建模

    本文研究了五种基于令牌级分类任务的简单预训练目标作为 MLM 替代品，证明这些方法可以达到与使用 BERT-BASE 结构的 MLM 相当或更好的性能，并且使用较小的模型进行验证。

    Sep, 2021

  • DICT-MLM：使用双语词典的改进多语种预训练

    本文提出 DICT-MLM 方法以促进跨语言表示学习，分析表明该方法在多种涉及 30 多种语言的下游任务中表现出了更好的多语言表示能力。

    Oct, 2020

  • 为了更好的语言模型预训练，学习更好的掩码技术

    本研究通过探索不同时间阶段掩码策略方式，发现固定掩码比率和掩码内容是无法实现最佳效果的。因此，提出了两种自适应掩码策略，通过不同的训练阶段来调整掩码比率和掩码内容以提高模型的性能，并在下游任务中进行验证。该研究的工作是关于时间相关掩码策略对预训练模型的影响的开拓性研究，让掩码比率和掩码内容如何影响 MLM 预训练得到了更好的理解。

    Aug, 2022

  • ELECTRA：将文本编码器视为判别器而非生成器的预训练

    提出了一种更节省样本的预训练任务，叫做替换标记检测。该方法是通过一个小的生成网络从语料库中替换一些标记，然后通过训练一个判别模型，以预测输入标记是否被替换，而不是预测被替换的标记的原始身份来破坏输入，从而定义所有输入标记的任务，比普通的 Masked language modeling 更有效，并表现出比 BERT 更好的上下文表示学习效果。

    Mar, 2020

  • 显式跨语言预训练用于无监督机器翻译

    本文提出了一种新的跨语言预训练方法，通过融合显式的跨语言训练信号，从交叉语境中获取受益的跨语言信息并使用 CMLM 预训练模型大幅提高了无监督机器翻译的性能.

    Aug, 2019

  • 一种具有概率掩码的语言模型，能够按任意字序进行自回归生成

    本文提出了一种基于掩模模型的概率掩模方案（PMLM），它支持按任意顺序生成文本，并在下游自然语言理解任务上超越了 BERT。

    Apr, 2020