ACLSep, 2022

文本分类任务自适应预训练的简单高效方法

PDF
TL;DR该文章研究了在 TAPT 过程中只训练 BERT 模型的嵌入层对模型性能的影响，并提出了一种简单的方法来使 BERT 模型在中间步骤更加高效，该方法是培训 BERT 模型的嵌入层，可以适应目标领域的词汇并达到可比较的性能。
发现论文，激发创造
  • 利用单词嵌入正则化进行语言模型的任务自适应预训练

    该论文提出了一种名为 TAPTER 的新型 fine-tuning 方法，该方法可以通过调整 PTLM 的静态词嵌入来实现领域自适应，无需额外的语料库，并且能提高标准 fine-tuning 和任务自适应预训练在生物医学和维基百科领域的性能。

    Sep, 2021

  • 参数高效微调与适配器

    该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对三个不同数据集进行评估，研究结果表明，该基于适配器的方法在性能上与全模型微调、DAPT+TAPT 和 UniPELT 策略相当，而需要更少或相同数量的参数。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能以及显著节约资源消耗方面的潜力，为参数高效微调的未来研究方向提供了有益的提示。

    May, 2024

  • 不要停止预训练：将语言模型适应于领域和任务

    本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

    Apr, 2020

  • MDAPT: 单模型多语种领域自适应预训练

    本研究旨在探究利用领域自适应预训练的方法，结合多语言语料库来同时训练一个领域特定和多语言的语言模型，从而提高目标领域内不同语言任务的文本建模能力。研究结果表明，用这种模型在生物医学命名实体识别和金融句子分类等多个领域特定数据集上进行测试，可以比一般的多语言模型表现更好，接近于单语言情况下的性能表现。

    Sep, 2021

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • FDAPT：面向领域自适应的联邦预训练语言模型

    本文首次全面实证研究，将域自适应预训练 (DAPT) 与联邦学习 (FL) 结合，可以在保护数据隐私的同时，通过利用更敏感和分布式的数据来增强模型适应性。我们提出一种新的算法，Frozen Federated Domain-adaptive Pre-training (FFDAPT)，平均节省 12.1% 的计算资源，并在 IID 和非 - IID 情况下均能保持与中心化模型相当的表现。

    Jul, 2023

  • 适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型

    本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

    Jun, 2021

  • 面向敌意检测的任务自适应 Transformer 预训练

    本篇研究通过使用 Task Adaptive Pretraining (TAPT) 来完善预训练的基于 Transformer 架构的分类器并结合表情符号和分段的标签来对 Hindi Tweets 进行自然语言粗分类，细分类以及 Twitter 内容分类识别，并在相关比赛中获得了较高的 F1 分数。

    Jan, 2021

  • 选择哪些高效的中间任务进行预训练？

    通过 adapter fine-tuning 方法，有效地和高效地获取并选取 NLP 任务中的中间任务，从而在目标任务上实现更好的效果。

    Apr, 2021

  • 面向任务自适应的预训练和自我训练在自然语言理解中互为补充

    本文研究几种半监督学习方法提高自然语言理解任务的性能，证明了 Task-adaptive pre-training 和 Self-training 可以通过 TFS protocol 结合使用，使学习所得的表示更加有效，进而在情感分类、语义匹配、命名实体识别和对话槽位分类等多个数据集上获得了显著的提升，在半监督设置下获得了强大的加法收益。经验证明，TFS protocol 可以作为未来 NLP 研究的一个重要的半监督学习基线。

    Sep, 2021