异质多任务学习与专家多样性

KDDJun, 2021

Heterogeneous Multi-task Learning with Expert Diversity

Raquel Aoki, Frederick Tung, Gabriel L. Oliveira

TL;DR提出了一种名为 MMoEEx 的多门分层专家模型用于解决多任务学习（MTL）中的挑战，旨在优化单个模型以同时预测具有不同特征的多个任务，我们采用了一种方法来引入专家间的多样性，以创造更适合高度不平衡和异构 MTL 学习的表示，并采用两步优化方法在梯度水平上平衡任务。

Abstract

Predicting multiple heterogeneous biological and medical targets is a challenge for traditional deep learning models. In contrast to single-task learning, in which a separate model is trained for each target, multi-task learning (MTL) optimizes a single model to predict multiple relate

multi-task learning mmoeex heterogeneous tasks deep learning models optimization

发现论文，激发创造

稀疏激活的专家混合模型是具有鲁棒性的多任务学习器

使用稀疏激活的专家混合模型和任务感知门控函数结合的多任务学习方法，成功地提高了模型泛化能力、转移学习效果和鲁棒性。

Apr, 2022

设计混合专家作为模块化多任务学习者

该研究提出了 Mod-Squad 模型，使用模块化结构将组内的专家与任务相匹配，并在训练过程中优化匹配过程以对抗多任务学习的挑战。实验表明本方法在任务数量和训练集规模扩大时表现强于其他方法。

Dec, 2022

运用平衡混合专家模型对多元软测量任务关系进行建模

本研究提出了一种基于混合专家（MoE）和任务梯度平衡（TGB）的平衡混合专家模型（BMoE），通过表述任务关系和动态平衡任务梯度，解决了工业软传感模型中的数据效率和负迁移问题，并在典型的硫回收装置上获得了显著优异的表现。

May, 2023

公平的多任务学习

本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。

Jun, 2023

多任务多语种模型的可扩展高效 MoE 训练

采用 Mixture of Experts 模型、多维并行技术和 DeepSpeed 库支持的系统，成功训练出拥有数百万参数的高效的多语言生成模型，同时提升了模型的样本效率和推断时间效率。

Sep, 2021

基于任务的 MoE 多任务多语言机器翻译

我们设计了一种新方法，将任务信息与 Mixture-of-experts 模型结合，通过共享的动态任务适配器在不同粒度级别上将任务信息融入模型中。实验证明，相比密集和经典的 Mixture-of-experts 模型，在多任务多语言机器翻译上，我们的方法具有优势。通过任务特定的适配器，我们的模型能够高效地泛化到新任务中。

Aug, 2023

HyperMoE: 通过专家之间的迁移改进更好的专家混合

HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架，通过利用未选择的专家生成的特定模块作为补充信息，实现在保持选择稀疏性的同时利用未选择的专家的知识，从而在相同条件下显著优于现有 MoE 方法。

Feb, 2024

跨越多任务学习和元学习：迈向高效训练和有效适应

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

Jun, 2021

多线性专家混合模型：通过分解实现可扩展的专家专业化

通过使用 Multilinear Mixutre of Experts (MMoE) 层来缩放专家的数量，从而实现图像模型的细粒度特化，并通过定性和定量的证据证明了其与线性层具有相当的性能，同时进一步协助修正 CelebA 属性分类中的人口统计偏差。

Feb, 2024

混合专家中改进专家专业化能力

本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。

Feb, 2023