DEMix Layers: 模块化语言建模中的领域解耦

Aug, 2021

DEMix Layers: 模块化语言建模中的领域解耦

DEMix Layers: Disentangling Domains for Modular Language Modeling

Suchin Gururangan, Mike Lewis, Ari Holtzman, Noah A. Smith, Luke Zettlemoyer

TL;DR该研究介绍了一种新的域专家混合层 (DEMix)，能够使语言模型 (LM) 与输入文本的领域相适应。DEMix 层是由专家前馈网络组成的集合，每个专家网络专门处理一个领域，使得 LM 模块化：专家可以在初始训练后混合、添加或删除。该模型在自回归变压器 LM 上进行了广泛的实验 (高达 1.3B 参数)，结果表明 DEMix 层降低了测试时间内的困惑度，提高了训练效率，并允许快速适应而不会增加负担。同时显示，在推断时混合专家，使用无参数加权集成，使模型更好地推广到异构或未见领域。实验还表明，可以添加专家来逐步合并新领域，而不会遗忘旧领域，而且还可以删除专家以限制对不需要的领域的访问，而无需额外的训练。总之，这些结果表明，显式地依赖文本领域进行的语言建模具有益处。

Abstract

We introduce a new domain expert mixture (DEMix) layer that enables conditioning a language model (LM) on the domain of the input text. A DEMix layer is a collection of expert feedforward networks, each specialized to a domain, that makes the LM modular: experts can be mixed, added or removed after initial training. Extensive experiments with autoregressive

domain expert mixture layer language model conditioning modularization expert mixing during inference iterative domain incorporation

发现论文，激发创造

领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

Jun, 2023

基于词级自适应逐层领域混合的多领域神经机器翻译

本篇论文提出了使用独立词向量模块和基于词级别注意力机制的领域混合方法来实现多领域神经机器翻译的知识共享和精细化领域特定知识获取，实验结果表明该模型在多项 NMT 任务中表现优秀。

Nov, 2019

DoReMi: 优化数据混合加速语言模型预训练

本篇论文介绍了一种名为 DoReMi 的方法，用于通过预训练数据域的混合比例来提高语言模型性能，该方法先使用集合分布稳健优化（Group DRO）对数据域进行小型代理模型训练来生成域权重，然后使用这些域权重对数据集进行再采样并训练更大的模型。在实验中，该方法提高了在所有域上的 perplexity ，并在几乎不增加训练步骤的情况下将平均 downstream accuracy 提高了 6.5％。

May, 2023

深层专家混合模型中的因子表示学习

本文扩展了专家集成模型，提出了深度专家集成模型，该模型利用多组门和专家实现了输入空间的多重化，同时保持了小型化规模，在 MNIST 数据集和语音单音素数据集上的实验结果表明，该模型能够自动发现局部化的位置相关专家和类别相关专家，并有效地使用所有专家组合。

Dec, 2013

探索稀疏专家混合模型在多领域神经机器翻译中的潜力

我们关注多领域神经机器翻译，旨在开发能够处理训练期间见过的各种领域数据并对未见过的领域具有鲁棒性的高效模型。我们假设稀疏专家混合（SMoE）模型非常适合这个任务，因为它们能够实现高效的模型扩展，有助于适应各种多领域数据，并允许领域间参数的灵活共享，从而可能实现类似领域之间的知识传递，并限制负面传递。我们进行了一系列实验证实 SMoE 在多领域场景中的效用，并发现在实践中，对 Transformer 进行简单的宽度扩展是一种更简洁且出人意料地高效的方法，其达到了与 SMoE 相同的性能水平。我们还寻求多领域系统的更好鲁棒性方法，强调了混合通用领域（如 Paracrawl）的重要性，并引入了一种简单的技术，即领域随机化。

Jul, 2024

DEM：混合数据分布训练的分布编辑模型

提出了一种简单和高效的方法，使用基本的逐元素向量操作将每个数据源上单独训练的模型与基本模型相结合，从而更好地优化数据源，得到一种名为分布编辑模型（DEM）的模型，与标准数据混合相比廉价 11 倍，并在各种基准测试中优于强基准，对大小为 3B 到 13B 的模型分别可以获得 MMLU 的 6.2％改进，BBH 的 11.5％改进，DROP 的 16.1％，HELM 的 9.3％改进。值得注意的是，DEM 在修改单个数据源时不需要完全重新训练，因此非常灵活和可扩展以适应各种数据源的训练。

Jun, 2024

ADRMX：域特征的加性解缠与混合损失

通过加法解缠领域特征与重新混合损失（ADRMX）的新颖结构，结合领域不变特征与领域变体特征，解决了提取源领域中的共同特征的方法仅限制了模型泛化能力的问题。同时，引入了新的数据增强技术，通过在潜在空间内混合不同领域的样本，进一步支持 ADRMX 的泛化能力。经过在公平条件下对 DomainBed 进行的广泛实验，ADRMX 表现出最先进的性能。在修改过程结束后，代码将在 GitHub 上公开。

Aug, 2023

分支训练 MiX：将专家 LLMs 混合到一个专家混合 LLM 中

我们研究了训练大型语言模型在多个专业领域（如编码、数学推理和世界知识）中具备能力的高效方法。我们的方法名为 Branch-Train-MiX（BTX），从一个种子模型开始，在高吞吐量和减少通信成本的尴尬地并行训练专家。在专家异步训练后，BTX 将它们的前馈参数作为混合专家（MoE）层的专家团队，并平均剩余参数，接着采用 MoE 微调阶段学习标记级别的路由。BTX 推广了两种特殊情况，Branch-Train-Merge 方法不需要 MoE 微调阶段学习路由，而稀疏升级则省略了专家异步训练阶段。与替代方法相比，BTX 在准确性和效率之间取得了最佳平衡。

Mar, 2024

令牌混合：通过跨样本聚合实现高效的 LLMs

提出了一种全可微分的模型，称为 Mixture of Tokens，它在避免了 Mixture of Experts 模型的困难的同时保留了其优点，通过在专家之前混合来自不同示例的标记，使模型能够从所有标记 - 专家组合中学习。此方法与大型语言模型的训练和推理完全兼容。

Oct, 2023

跨领域集成蒸馏用于领域泛化

本文提出了一种名为 XDED 的跨域集合蒸馏方法，通过学习域不变特征并鼓励模型收敛于平坦极小值来提高泛化能力，同时提出了解决任意目标域中样式连贯性的去风格化方法。该方法在交叉领域图像分类、跨数据集的 person re-ID 和语义分割中极大地提高了泛化能力，并且表明所学习的模型对抗攻击和图像破坏是鲁棒的。

Nov, 2022