为每个任务提供所需的条件 —— 利用结构稀疏性进行个性化多任务学习

Jun, 2024

为每个任务提供所需的条件 —— 利用结构稀疏性进行个性化多任务学习

Giving each task what it needs -- leveraging structured sparsity for tailored multi-task learning

Richa Upadhyay, Ronald Phlypo, Rajkumar Saini, Marcus Liwicki

TL;DR通过引入层优化的多任务（LOMT）模型，利用结构化稀疏性来优化任务选择性特征，并提高多任务学习（MTL）框架的性能，将任务特定的解码器连接到经过策略性识别的层，实现网络的定制化架构，减少冗余，优化网络。

Abstract

Every task demands distinct feature representations, ranging from low-level to high-level attributes, so it is vital to address the specific needs of each task, especially in the multi-task learning (MTL) framewo

feature representations multi-task learning layer-optimized multi-task models structured sparsity task-specific decoders

发现论文，激发创造

少即多 —— 利用结构稀疏性构建简约的多任务模型

将结构组稀疏性引入共享参数的多任务学习框架中，通过在共享层中使用通道级别的 l1/l2 组稀疏性，以开发出能够有效处理多个任务的简化模型，其参数更少且性能可与密集模型相媲美或更优。

Aug, 2023

多任务稀疏结构学习

本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

Sep, 2014

潜在多任务架构学习

本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

May, 2017

基于 Tensorized SVMs 和 LSSVMs 的低秩多任务学习

多任务学习中使用高阶张量表示任务间的结构关系，并通过线性组合共享因子、特定因子来模拟任务关联，提出通用的基于低秩的多任务学习方法，证实了该方法在多任务学习中的有效性和优越性。

Aug, 2023

任务路由的多任务学习

本文提出一种名为任务路由的多任务学习方法，应用于卷积层激活上的条件特征转换，实现更高效的多任务训练，在单个模型中成功适配了数百个分类任务，并在 5 个数据集上验证了其性能。

Mar, 2019

稀疏激活的专家混合模型是具有鲁棒性的多任务学习器

使用稀疏激活的专家混合模型和任务感知门控函数结合的多任务学习方法，成功地提高了模型泛化能力、转移学习效果和鲁棒性。

Apr, 2022

学会高效：在大型语言模型中构建结构化稀疏性

使用 Learn-To-be-Efficient 算法能够实现大型语言模型的效率提升，通过激活较少神经元来获得更好的稀疏性和性能平衡，取得了较好的结果。

Feb, 2024

设计混合专家作为模块化多任务学习者

该研究提出了 Mod-Squad 模型，使用模块化结构将组内的专家与任务相匹配，并在训练过程中优化匹配过程以对抗多任务学习的挑战。实验表明本方法在任务数量和训练集规模扩大时表现强于其他方法。

Dec, 2022

跨多种拓扑结构搜索的多任务学习动态神经网络

本文提出一个多任务学习框架，利用限制 DAG-based 中央网络和特征共享来构建适应性强的结构，并使用流量约束和挤压损失将网络压缩离散化，从而实现在多个公共 MTL 数据集上达到最先进的性能。

Mar, 2023

视觉场景理解的多任务学习

研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

Mar, 2022