EMNLPOct, 2020

神经掩码生成器：学习生成适应性词掩码以进行语言模型适应

PDF
TL;DR本文提出一种基于强化学习的框架，使用自适应的掩码技术用于自我监督预训练，以有效地将语言模型适应到指定目标任务，例如问答。我们在几个问答和文本分类数据集上使用 BERT 和 DistilBERT 作为语言模型，使用离策略演员 - 评论家，熵正则化和经验回放进行强化学习，并使用能考虑文本中词汇相对重要性的基于 Transformer 的策略网络进行学习。使用所提出的神经掩码生成器（NMG）自动生成优化的自适应掩码，比基于规则的掩码策略更优秀。
发现论文，激发创造
  • 带对抗训练的语言模型有效无监督领域自适应

    本文探讨了如何利用适当的遮罩策略来提高基于掩蔽的语言模型在领域自适应任务上的性能，并提出了一种有效的训练策略，即通过对更难以恢复的标记进行对抗性遮蔽，以使模型更好地适应目标任务。通过六个无监督领域适应任务，该方法在命名实体识别方面显著优于随机遮蔽策略，提高了 1.64 个 F1 分数。

    Oct, 2020

  • 基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应

    在本文中，我们介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域，该方法基于词语的重要性对其进行排名，并优先选择重要性高的词进行掩码处理，通过在法律领域进行连续预训练实验证明了我们的方法在 LegalGLUE 基准测试中的有效性，同时提供免费使用的预训练语言模型和代码。

    Feb, 2024

  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 学习变分词掩模以提高神经文本分类器的可解释性

    本文提出了一种用于自动学习任务特定重要单词和减少非相关信息的变分词掩码方法，以改善模型预测的可解释性，并在七个基准文本分类数据集上评估了其有效性，证明了 VMASK 在提高模型预测准确性和可解释性方面的有效性。

    Oct, 2020

  • 探究基于掩码的语言模型数据生成

    本文旨在探讨基于掩码语言模型的数据增强方法在自然语言处理领域的广泛应用及提高模型性能的有效性，以及近期对该模型在生成人工扩充数据方面的应用及实验结果。

    Jun, 2023

  • BERT 模型知识压缩在文本生成中的应用

    该研究的主要目的是探讨如何利用大规模的预训练语言模型如 BERT 来进行语言生成任务，并提出了一种基于条件掩码语言建模（C-MLM）的方法，使用 BERT 对学生模型进行监督，从而实现更好的文本生成性能，实验证明该方法在多语言生成任务上明显优于强大的 Transformer 基线，包括机器翻译和文本摘要，并在 IWSLT 德英和英越 MT 数据集上取得了新的最优效果。

    Nov, 2019

  • 一种具有概率掩码的语言模型，能够按任意字序进行自回归生成

    本文提出了一种基于掩模模型的概率掩模方案（PMLM），它支持按任意顺序生成文本，并在下游自然语言理解任务上超越了 BERT。

    Apr, 2020

  • 自监督图层掩蔽预训练用于图到文本生成

    该论文提出了使用图形遮盖的预训练策略来提高图到文本生成任务中预训练模型的效果，该方法取得了 WebNLG+2020 和 EventNarrative 数据集上的最新最好成果，并在低资源设置中表现出非常有效的结果。

    Oct, 2022

  • MaskGAN：通过填充提升文本生成质量

    该论文介绍了使用生成对抗网络（GANs）作为神经文本生成模型的训练方法，提高生成样本的质量，并通过 actor-critic 条件 GAN 与最大似然方法对比说明了其效果更好。

    Jan, 2018

  • AMOM: 条件掩码语言模型的自适应掩码

    本文介绍了一种简单而有效的自适应遮盖策略，用于增强解码器的细化能力和简化编码器优化，证明该方法在多任务序列生成中超越了强大的 CMLM 模型，在机器翻译任务中获得了最先进的性能，并在至少 2.2 倍的加速下比 AR Transformer 实现了更好的性能。

    Mar, 2023