Feb, 2024

基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应

PDF
TL;DR在本文中，我们介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域，该方法基于词语的重要性对其进行排名，并优先选择重要性高的词进行掩码处理，通过在法律领域进行连续预训练实验证明了我们的方法在 LegalGLUE 基准测试中的有效性，同时提供免费使用的预训练语言模型和代码。
pre-trained language modelingword maskinggenre and topicality informationspecialized domainslegalglue benchmark
发现论文，激发创造
  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 通过掩码特定损失提高预训练语言模型的敏感性：以生物医学 NER 为案例研究

    通过适当加权领域特定术语并加入遮蔽策略，提高语言模型的灵敏度和检测领域特定术语的能力。

    Mar, 2024

  • 专利领域的基于语言学知识的掩码表示学习

    该研究提出了一种基于语言学启发的遮蔽方法，称为 LIM，该方法可用于域适应的预训练模型，以便在专利语言领域提供更好的表示。通过在两个不同的语言模型上评估专利语言的领域适应表示的性能，以专利 IPC 分类和相似性匹配作为后续任务，该研究证明了该方法的改进效果，并公开了源代码和域适应预训练专利语言模型。

    Jun, 2021

  • 使用选择性屏蔽作为预训练和微调之间的桥梁

    该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

    Nov, 2022

  • 不要随意掩盖：通过掩盖域内关键词进行有效的领域自适应预训练

    文章提出了一种新颖的面向任务无关的领域内预训练方法，通过选择性屏蔽领域内关键词来提高预训练的效果，并使用 KeyBERT 鉴别了这些关键词。研究结果显示基于该方法调整的模型性能优于其他模型，并且识别领域关键词的时间开销合理可接受。

    Jul, 2023

  • 探究基于掩码的语言模型数据生成

    本文旨在探讨基于掩码语言模型的数据增强方法在自然语言处理领域的广泛应用及提高模型性能的有效性，以及近期对该模型在生成人工扩充数据方面的应用及实验结果。

    Jun, 2023

  • 带对抗训练的语言模型有效无监督领域自适应

    本文探讨了如何利用适当的遮罩策略来提高基于掩蔽的语言模型在领域自适应任务上的性能，并提出了一种有效的训练策略，即通过对更难以恢复的标记进行对抗性遮蔽，以使模型更好地适应目标任务。通过六个无监督领域适应任务，该方法在命名实体识别方面显著优于随机遮蔽策略，提高了 1.64 个 F1 分数。

    Oct, 2020

  • 神经掩码生成器：学习生成适应性词掩码以进行语言模型适应

    本文提出一种基于强化学习的框架，使用自适应的掩码技术用于自我监督预训练，以有效地将语言模型适应到指定目标任务，例如问答。我们在几个问答和文本分类数据集上使用 BERT 和 DistilBERT 作为语言模型，使用离策略演员 - 评论家，熵正则化和经验回放进行强化学习，并使用能考虑文本中词汇相对重要性的基于 Transformer 的策略网络进行学习。使用所提出的神经掩码生成器（NMG）自动生成优化的自适应掩码，比基于规则的掩码策略更优秀。

    Oct, 2020

  • 利用大型语言模型从隐私保护掩码中恢复

    使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

    Sep, 2023

  • 在保留通用知识的同时调整语言模型

    本文提出了一种新的领域适应预训练方法，通过软遮罩注意力头并对一般和完全表示进行对比学习，以更智能的方式对 LM 中的知识进行适应，实验结果表明了该方法的有效性。

    Jan, 2023