ACLJul, 2023

不要随意掩盖：通过掩盖域内关键词进行有效的领域自适应预训练

PDF
TL;DR文章提出了一种新颖的面向任务无关的领域内预训练方法，通过选择性屏蔽领域内关键词来提高预训练的效果，并使用 KeyBERT 鉴别了这些关键词。研究结果显示基于该方法调整的模型性能优于其他模型，并且识别领域关键词的时间开销合理可接受。
in-domain pre-trainingkeywords maskingkeybertfine-tuningpre-trained language models
发现论文，激发创造
  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应

    在本文中，我们介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域，该方法基于词语的重要性对其进行排名，并优先选择重要性高的词进行掩码处理，通过在法律领域进行连续预训练实验证明了我们的方法在 LegalGLUE 基准测试中的有效性，同时提供免费使用的预训练语言模型和代码。

    Feb, 2024

  • 神经语言模型的紧凑预训练方法

    本研究表明，使用抽象摘要和关键词提取等技术，从不结构化的数据中构建一个紧凑的子集，可以更有效地和更快地为传统预训练及任务特定分类器的训练提供有关领域内的信息，减少了预训练时间，并在针对六个不同组合的数据集并使用两种不同的 NLMs 的条件下表现出了优越的结果。

    Aug, 2022

  • 使用选择性屏蔽作为预训练和微调之间的桥梁

    该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

    Nov, 2022

  • 专利领域的基于语言学知识的掩码表示学习

    该研究提出了一种基于语言学启发的遮蔽方法，称为 LIM，该方法可用于域适应的预训练模型，以便在专利语言领域提供更好的表示。通过在两个不同的语言模型上评估专利语言的领域适应表示的性能，以专利 IPC 分类和相似性匹配作为后续任务，该研究证明了该方法的改进效果，并公开了源代码和域适应预训练专利语言模型。

    Jun, 2021

  • 掩蔽：预训练语言模型的有效替代方法

    本文提出了一种有效的预训练语言模型利用方法，其中利用二进制选择性蒙版来代替微调的方法对预训练权重进行修改。对 Bert 和 Roberta 模型进行掩模和微调的广泛评估表明，我们的掩模方案在执行多个任务时具有可比性的性能，却具有更小的内存占用。通过本文内在评估，我们展示了由掩模语言模型计算的表征编码了解决下游任务所需的信息。分析损失景观，我们展示了掩蔽和微调能够生成几乎具有恒定测试准确度的线段相连的值，证实了掩蔽是微调的有效替代方法。

    Apr, 2020

  • 通过掩码特定损失提高预训练语言模型的敏感性：以生物医学 NER 为案例研究

    通过适当加权领域特定术语并加入遮蔽策略，提高语言模型的灵敏度和检测领域特定术语的能力。

    Mar, 2024

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 在保留通用知识的同时调整语言模型

    本文提出了一种新的领域适应预训练方法，通过软遮罩注意力头并对一般和完全表示进行对比学习，以更智能的方式对 LM 中的知识进行适应，实验结果表明了该方法的有效性。

    Jan, 2023

  • 带对抗训练的语言模型有效无监督领域自适应

    本文探讨了如何利用适当的遮罩策略来提高基于掩蔽的语言模型在领域自适应任务上的性能，并提出了一种有效的训练策略，即通过对更难以恢复的标记进行对抗性遮蔽，以使模型更好地适应目标任务。通过六个无监督领域适应任务，该方法在命名实体识别方面显著优于随机遮蔽策略，提高了 1.64 个 F1 分数。

    Oct, 2020