ACLApr, 2020

不要停止预训练：将语言模型适应于领域和任务

PDF
TL;DR本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。
pretrainingdomain-adaptivetask-adaptivenlpmulti-phase adaptive
发现论文，激发创造
  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型

    本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

    Jun, 2021

  • MDAPT: 单模型多语种领域自适应预训练

    本研究旨在探究利用领域自适应预训练的方法，结合多语言语料库来同时训练一个领域特定和多语言的语言模型，从而提高目标领域内不同语言任务的文本建模能力。研究结果表明，用这种模型在生物医学命名实体识别和金融句子分类等多个领域特定数据集上进行测试，可以比一般的多语言模型表现更好，接近于单语言情况下的性能表现。

    Sep, 2021

  • 在保留通用知识的同时调整语言模型

    本文提出了一种新的领域适应预训练方法，通过软遮罩注意力头并对一般和完全表示进行对比学习，以更智能的方式对 LM 中的知识进行适应，实验结果表明了该方法的有效性。

    Jan, 2023

  • 异曲同工：探究多样化对话任务的适切预训练方法

    研究发现，为了适应特定领域的无标签数据，引入进一步的预训练阶段可以带来积极影响，不同的下游任务需要适当的先前任务作为进一步的预训练任务来弥合任务公式差距，并针对多个任务导向的对话下游任务设计各种任务以提高其性能。

    Sep, 2021

  • 关于预训练语言模型的领域自适应和泛化：一项综述

    本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

    Nov, 2022

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • 零样本问答的任务迁移和领域自适应

    使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。

    Jun, 2022

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021

  • 语言模型的持续学习

    本研究提出了一种新的方法，使用一系列未标记的领域语料库来连续培训语言模型，从而改善它们的最终任务绩效。该方法的关键创新点是一种软掩蔽机制，它直接控制语言模型的更新，同时提供了一个新的代理来保留原始 LM 中的通用知识。实证评估证明了所提方法的有效性。

    Feb, 2023