EMNLPDec, 2022

G-MAP: 面向领域任务的通用记忆增强预训练语言模型

PDF
TL;DR提出了一种 General Memory Augmented Pre-trained Language Model (G-MAP) 框架，通过从未失去通用知识的冻结通用 PLM 构建内存表示来增广专业领域 PLM，并探索不同的增广策略来将其自适应地融合到专业领域 PLM 中，证明了 G-MAP 对各种类型的任务，在各种领域中可以实现 SOTA 结果。
domain-specific plmscatastrophic forgettinggeneral memory augmented pre-trained language modelmemory-augmented layersota results
发现论文，激发创造
  • KALA: 知识增强语言模型适应

    本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

    Apr, 2022

  • 语言模型的持续学习

    本研究提出了一种新的方法，使用一系列未标记的领域语料库来连续培训语言模型，从而改善它们的最终任务绩效。该方法的关键创新点是一种软掩蔽机制，它直接控制语言模型的更新，同时提供了一个新的代理来保留原始 LM 中的通用知识。实证评估证明了所提方法的有效性。

    Feb, 2023

  • MDAPT: 单模型多语种领域自适应预训练

    本研究旨在探究利用领域自适应预训练的方法，结合多语言语料库来同时训练一个领域特定和多语言的语言模型，从而提高目标领域内不同语言任务的文本建模能力。研究结果表明，用这种模型在生物医学命名实体识别和金融句子分类等多个领域特定数据集上进行测试，可以比一般的多语言模型表现更好，接近于单语言情况下的性能表现。

    Sep, 2021

  • 关于预训练语言模型的领域自适应和泛化：一项综述

    本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

    Nov, 2022

  • 使用日本报纸和付费墙对领域特定预训练语言模型的记忆量进行量化

    使用限定语料库的日本报纸文章预训练领域特定的 GPT-2 模型，研究发现领域特定的预训练语言模型在生成过程中有大规模的复制粘贴行为，而且记忆与重复、模型大小和提示长度等因素相关。

    Apr, 2024

  • 领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

    本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

    Jun, 2023

  • 在保留通用知识的同时调整语言模型

    本文提出了一种新的领域适应预训练方法，通过软遮罩注意力头并对一般和完全表示进行对比学习，以更智能的方式对 LM 中的知识进行适应，实验结果表明了该方法的有效性。

    Jan, 2023

  • 文本分类任务自适应预训练的简单高效方法

    该文章研究了在 TAPT 过程中只训练 BERT 模型的嵌入层对模型性能的影响，并提出了一种简单的方法来使 BERT 模型在中间步骤更加高效，该方法是培训 BERT 模型的嵌入层，可以适应目标领域的词汇并达到可比较的性能。

    Sep, 2022

  • 探究预训练语言模型在图形生成文本方面的应用

    本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

    Jul, 2020

  • 利用单词嵌入正则化进行语言模型的任务自适应预训练

    该论文提出了一种名为 TAPTER 的新型 fine-tuning 方法，该方法可以通过调整 PTLM 的静态词嵌入来实现领域自适应，无需额外的语料库，并且能提高标准 fine-tuning 和任务自适应预训练在生物医学和维基百科领域的性能。

    Sep, 2021