EMNLPOct, 2022

基于 Transformer 自编码器的有效预训练目标

PDF
TL;DR本研究研究了使用不同的预训练目标预训练 Transformer 编码器时，效率、成本和准确性之间的权衡，并分析了常见目标的特征并将它们组合起来创建新的有效预训练方法。该实验使用基于直观统计方法的轻型标记生成器替换 ELECTRA 计算重的生成器，从而大大降低成本，并表明 (i) 比 BERT 的 MLM 更高效的替代方案存在，(ii) 可以使用更轻的生成器高效地预训练基于 Transformer 的模型，而不会显著降低性能。
发现论文，激发创造
  • Transformers 的高效预训练目标

    本论文研究了 Transformer 模型的有效预训练目标，并探究了 ELECTRA 模型的若干新特性。结果表明，去除 mask token 以及全局损失计算有助于提升模型性能，同时参考 ELECTRA 模型的判别式方法可以更高效地训练 BERT-like 模型，并且这些方法受到超参数寻优的进一步改善。

    Apr, 2021

  • 多词选择增强的训练 ELECTRA

    本研究中提出了一种基于多任务学习的文本编码器预训练方法来改进 ELECTRA 模型，通过同时检测替换的标记和从候选集中选择原始的标记来训练判别器，并使用注意力机制网络和共享底部层的技术同时处理各种预训练任务，取得了在 GLUE 和 SQuAD 数据集上的有效和高效的表现。

    May, 2021

  • Transformer 的结构自监督目标

    本文重点研究如何通过使用无监督原始数据来改善自然语言模型的预训练，使其更高效并与下游应用相匹配。在第一部分中，我们介绍了三种替代 BERT 的 Masked Language Modeling（MLM）的预训练目标，分别为 Random Token Substitution（RTS）、Cluster-based Random Token Substitution（C-RTS）和 Swapped Language Modeling（SLM）。第二部分中，我们提出了与下游应用结构对齐的自监督预训练任务，减少了对标记数据的需求，并展示了在 Fact Verification、Answer Sentence Selection 和 Summarization 等任务上的显著性能提升。

    Sep, 2023

  • 将预训练 Transformers 作为基于能量的 Cloze 模型

    介绍了一种基于能量的填空模型 Electric，用于文本表示学习，通过噪声对比估计算法进行训练。Electric 在下游任务表现优秀，特别是在对文本进行可能性评分方面表现出较高的效果，同时清晰地解析了 ELECTRA 预训练期间所学习的内容。

    Dec, 2020

  • 针对低级视觉的高效基于 Transformer 的图像预训练

    本文研究预训练在图像处理系统中的作用，采用基于 Transformer 的预训练机制提高各种低级任务的性能，并设计一整套对内部表示影响的评估工具。实验证明，预训练对低级任务有着截然不同的影响，其中多任务预训练是最有效和数据高效的方法，本研究成功地开发了多种低级任务的最新模型。

    Dec, 2021

  • 使用单个预先训练的 Transformer 实现高效的文本摘要

    本研究探讨使用预训练的只有解码器的 Transformer 语言模型，来增强抽象摘要中的样本效率，并在 CNN/Daily Mail 数据集上进行实验以证实其有效性。实验结果表明，相比于预训练的编码器 - 解码器网络，该模型在低数据量的情况下有着更好的 ROUGE-2 得分。

    May, 2019

  • 无训练无收益：重拾用于基于 Transformer 的语言模型的高效训练算法

    本文探讨了三种算法类型 (动态架构、批量选择和优化器) 在训练 Transformer-based 语言模型的效率问题，并发现这些算法并不能比传统训练方法更快的提升训练、验证和下游任务的表现。

    Jul, 2023

  • ELECTRA：将文本编码器视为判别器而非生成器的预训练

    提出了一种更节省样本的预训练任务，叫做替换标记检测。该方法是通过一个小的生成网络从语料库中替换一些标记，然后通过训练一个判别模型，以预测输入标记是否被替换，而不是预测被替换的标记的原始身份来破坏输入，从而定义所有输入标记的任务，比普通的 Masked language modeling 更有效，并表现出比 BERT 更好的上下文表示学习效果。

    Mar, 2020

  • 定位预测作为一种有效的预训练策略

    本文提出了一种新颖的、简单的、基于位置预测的 Transformer 自监督预训练策略，可以提高 NLP、语音和视觉领域的性能，并使不使用位置嵌入的 Transformers 超越使用完整位置信息的 Transformers。

    Jul, 2022

  • 预训练语言模型作为多角度课程学习者

    本文针对 ELECTRA 预训练生成器与判别器训练时出现的单调训练和交互不足的问题，提出了一种多角度课程学习（MCL）算法。该算法通过将 MLM 缺点和标注标签平衡考虑在内的三个自监督课程设计，解决了单调训练和标签不平衡等问题。由于判别器与生成器无明确的反馈循环，该算法提出了两个自我修正课程，以创建 “修正笔记本” 进行辅助监督，弥合两个编码器之间的差距。生动实验表明，该算法使平均表现提高 2.8％和 3.2％，超过了同样设置下最近的先进 ELECTRA 样式模型。

    May, 2023