EMNLPSep, 2021

MDAPT: 单模型多语种领域自适应预训练

PDF
TL;DR本研究旨在探究利用领域自适应预训练的方法，结合多语言语料库来同时训练一个领域特定和多语言的语言模型，从而提高目标领域内不同语言任务的文本建模能力。研究结果表明，用这种模型在生物医学命名实体识别和金融句子分类等多个领域特定数据集上进行测试，可以比一般的多语言模型表现更好，接近于单语言情况下的性能表现。
domain adaptive pretrainingmultilingual modeldomain-specific textbiomedical named entity recognitionfinancial sentence classification
发现论文，激发创造
  • 不要停止预训练：将语言模型适应于领域和任务

    本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

    Apr, 2020

  • 预训练多语言神经机器翻译模型的鲁棒领域自适应

    本文提出一种将多语言神经机器翻译模型域自适应的 Fine-tuning 方法，结合 Embeddings 冻结与对抗性损失，能在保持所有语言对的通用领域性能的同时，显著提高处理特定数据领域的性能。

    Oct, 2022

  • FDAPT：面向领域自适应的联邦预训练语言模型

    本文首次全面实证研究，将域自适应预训练 (DAPT) 与联邦学习 (FL) 结合，可以在保护数据隐私的同时，通过利用更敏感和分布式的数据来增强模型适应性。我们提出一种新的算法，Frozen Federated Domain-adaptive Pre-training (FFDAPT)，平均节省 12.1% 的计算资源，并在 IID 和非 - IID 情况下均能保持与中心化模型相当的表现。

    Jul, 2023

  • 文本分类任务自适应预训练的简单高效方法

    该文章研究了在 TAPT 过程中只训练 BERT 模型的嵌入层对模型性能的影响，并提出了一种简单的方法来使 BERT 模型在中间步骤更加高效，该方法是培训 BERT 模型的嵌入层，可以适应目标领域的词汇并达到可比较的性能。

    Sep, 2022

  • 语言模型的持续学习

    本研究提出了一种新的方法，使用一系列未标记的领域语料库来连续培训语言模型，从而改善它们的最终任务绩效。该方法的关键创新点是一种软掩蔽机制，它直接控制语言模型的更新，同时提供了一个新的代理来保留原始 LM 中的通用知识。实证评估证明了所提方法的有效性。

    Feb, 2023

  • 在保留通用知识的同时调整语言模型

    本文提出了一种新的领域适应预训练方法，通过软遮罩注意力头并对一般和完全表示进行对比学习，以更智能的方式对 LM 中的知识进行适应，实验结果表明了该方法的有效性。

    Jan, 2023

  • 无文本多域图形预训练：走向图形基础模型

    MDGPT 是一个用于图学习的多领域图预训练和适应性框架，通过多领域知识的利用来解决不同领域的图数据对齐和适应的问题，并在多个公开数据集上进行了实验验证，超越了先前的研究成果 37.9%。

    May, 2024

  • 多领域神经机器翻译

    本文提出了一种神经机器翻译方法，通过将文本领域视为不同的语言并使用多语言 NMT 方法创建多领域翻译系统，从而实现在单个模型中支持多个领域，我们的方法在翻译质量上有显著提高。同时探究了预先指定文本领域的必要性，发现预先指定领域是必须的，但即使未知也可以达到相当高的翻译质量。

    May, 2018

  • 医疗领域中领域适应的多语言神经机器翻译的影响

    研究调整后的多领域神经机器翻译模型在医学领域的表现，通过自动度量和错误分类注释后的人工分析发现，与领域外的 MNMT 相比，领域内的 MNMT 在所有测量的自动度量上表现更好，并且产生更少的术语错误。

    Dec, 2022

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021