EMNLPOct, 2021

AVocaDo: 将词汇适应到下游领域的策略

PDF
TL;DR本文提出了一种针对迁移学习微调阶段中预训练词汇表不能适用于不同领域数据的问题，通过考虑词汇表为可优化参数，利用基于分词统计的领域特定词汇表对其进行扩展和优化，同时利用预训练的语言模型知识和正则化项防止新添加单词的过拟合，实现在不同领域（如生物医学、计算机科学、新闻和评论）上的一致性性能提升。
transfer learningpretrained vocabularyoptimizable vocabularytokenization statisticregularization term
发现论文，激发创造
  • 适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型

    本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

    Jun, 2021

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • MEDVOC：医学文本摘要的预训练语言模型微调之词汇适配

    本研究提出了一种动态词汇适应策略（MEDVOC），用于改进 BertSumAbs，BART 和 PEGASUS 等预训练语言模型（PLMs）在医学文本摘要中的表现，并通过片段得分为基础的超参数搜索显著减少了精调时间。

    May, 2024

  • 不要停止预训练：将语言模型适应于领域和任务

    本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

    Apr, 2020

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021

  • 基于词汇表限制的下游任务导向神经分词器优化作为后处理

    本文提出了一种优化已训练后的下游模型性能的分词方法，该方法通过限制词汇量并训练一个生成相应分词结果的分词器，达到更低的下游模型损失值，比现有方法在各项任务中都表现更佳。其中提出的基于 BiLSTM 的分词器能够比现有非神经网络分词方法更好地捕捉上下文信息。

    Apr, 2023

  • 语言模型压缩的快速词汇传递

    我们提出了一种基于词汇转移的模型压缩方法，通过与其他压缩技术结合使用，可以显著减小模型大小和推理时间，同时在性能上有轻微的妥协。

    Feb, 2024

  • 医疗文本的词汇迁移

    该论文展示了使用词汇转移技术对于医疗文本处理特别有益处，能够提供多达十个百分点的下游分类器准确度。

    Aug, 2022

  • 自然语言生成的预训练 - 微调范式中的子词缝隙填补

    该文提出了一种通过嵌入传递来解决预训练 - 微调范式中的一些缺陷的方法，该方法可以提高预训练模型在自然语言生成（NLG）任务中的效果，实验表明该策略能够自由传输词汇，从而导致下游 NLG 模型执行更高效和更好。

    Jun, 2021