领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

ACLJun, 2023

领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

Mixture-of-Domain-Adapters: Decoupling and Injecting Domain Knowledge to Pre-trained Language Models Memories

Shizhe Diao, Tianyang Xu, Ruijia Xu, Jiawei Wang, Tong Zhang

TL;DR本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

Abstract

pre-trained language models (PLMs) demonstrate excellent abilities to understand texts in the generic domain while struggling in a specific domain. Although continued pre-training on a large domain-specific corpus is effective, it is costly to tune all the parameters on the domain. In

pre-trained language models domain adaptation feed-forward networks mixture-of-adapters task-specific adapter

发现论文，激发创造

多语言领域自适应翻译：通过适配器解耦语言和领域信息

本文研究了在机器翻译领域中适配器的组成方法，旨在实现多领域和多语言（全资源场景）的参数效率适配，或在无法提供特定语言对的平行数据（部分资源场景）中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成，但这篇论文发现了将两种适配器简单组合的方法往往会造成缺失语言的灾难性遗忘，因此提出了新的适配器组合方式以减轻这一问题，并最大程度地实现跨语言转移。通过此种最佳适配器组合方式，我们实现了在没有场内数据的源语言上平均提高 3-4BLEU，而在没有场内数据的目标语言上与反向翻译相结合也达到了类似的改进。

Oct, 2021

UDApter - 使用 Adapter 的高效域适应

通过在大规模预训练语言模型中插入小的瓶颈层，我们提出了两种无监督领域自适应更加参数高效的方法，通过实验表明，我们的简单方法在自然语言推理和跨领域情感分类任务中性能良好。

Feb, 2023

利用大型预训练模型与适配器混合进行领域泛化

通过参数高效的微调方法和专家混合模型适配器，我们在不同数据分布情况下实现了优秀的性能，解决了分布转移引起的性能下降问题。

Oct, 2023

基于有符号权重方向的特定领域适配器混合模型的普适性及其在模型精简中的应用

通过细调参数的方法，本文提出了基于适配器的若干参数高效的 Fine-Tuning 方法，以简化将单个专业知识和多个专业知识合并到现有的预训练语言模型（PLMs）中的方法。最近的研究（例如 AdapterSoup）提出了一种方法，通过模型权重平均化，在推理时只混合领域特定适配器的子集，以优化在未知领域上的性能并具有出色的计算效率。然而，这种在未知领域内示例中的权重空间适配器混合机制的普适性尚未得到探索。因此，在本研究中，我们进行了全面的分析以阐明领域特定适配器混合物在领域内评估中的普适性，并通过分析适配器的权重符号来探究领域特定适配器混合物的内在工作机制，从而得出它们之间的权重符号差异与混合物的普适性之间的负相关关系的关键分析。所有源代码将被发布。

Feb, 2024

预训练语言模型的高效分层领域自适应

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

关于预训练语言模型的领域自适应和泛化：一项综述

本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

Nov, 2022

适配器与混合层融合增强预训练语言模型对文本分类的对抗性鲁棒性

该研究通过优化 fine-tuned adapters 并使用混合数据训练神经网络，提出了一种在实践中更实用的对抗训练机制，从而在提高模型的泛化性和预测性能的同时避免了传统对抗训练方法中存在的性能下降和计算成本较高的问题。

Jan, 2024

AdapterSoup: 利用权重平均来提高预训练语言模型的泛化能力

介绍了一种称为 AdapterSoup 的方法，通过对具有不同超参数的预训练语言模型适配器进行权重平均化从而提高在新领域的性能，同时使用文本聚类等方法选择哪些适配器进行组合，有效解决了在资源受限或领域特定问题下适配器训练的实践性问题。

Feb, 2023

$m^4Adapter$: 基于元适配器的多语言多领域机器翻译自适应

本研究提出了一种利用元学习和适配器，将域和语言知识结合起来以适应新的领域和语言对的多语言神经机器翻译模型，在跨语言和领域上取得了更好的性能表现。

Oct, 2022

KALA: 知识增强语言模型适应

本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

Apr, 2022