利用收敛行为平衡多任务学习中的矛盾任务

Apr, 2022

利用收敛行为平衡多任务学习中的矛盾任务

Leveraging convergence behavior to balance conflicting tasks in multi-task learning

Angelica Tiemi Mizuno Nakamura, Denis Fernando Wolf, Valdir Grassi Jr

TL;DR采用多目标优化的方法，考虑梯度的时间行为，创建一个动态偏差，利用多任务学习的相关性来提高性能和泛化性能，并确保所有任务达到良好的泛化性能。

Abstract

multi-task learning is a learning paradigm that uses correlated tasks to improve performance generalization. A common way to learn multiple tasks is through the hard parameter sharing approach, in which a single

multi-task learning hard parameter sharing multi-objective optimization simultaneous learning performance maximization

发现论文，激发创造

多任务学习的多目标优化

本论文将多任务学习作为多目标优化来解决，并提出了一种基于梯度下降优化算法的上限边界，证明了在现实情况下优化这个上限边界将得到帕累托最优解，在多任务深度学习问题上应用我们的方法表现出比最近的多任务学习公式或每项任务训练的模型更高的性能。

Oct, 2018

多任务学习与多任务优化

本文提出了一种多目标优化的多任务学习方法，通过迭代传递模型参数在优化过程中解决存在冲突的多个任务，并在图像分类、场景理解和多目标回归问题中进行了实验验证，结果显示该方法显著提升了发现满足 Pareto 优化的模型集合的状态，尤其在大规模图像数据集上的实验中，比现有技术取得了近两倍的超体积收敛速度。

Mar, 2024

多任务优化中任务优先级的量化

通过连接的强度，基于多任务学习提出了一种基于连接强度的优化方法，包括任务优先级的学习和梯度修改两个阶段，从而在多个任务中找到新的帕累托最优解，大大提升了多任务性能。

Jun, 2024

Pareto 多任务学习

该研究提出了一种全新 Pareto 多任务学习算法，通过将多任务学习看作是多目标优化问题，并将多目标优化问题分解为具有不同权衡偏好的一组约束子问题，该算法能够找到一组良好分布的 Pareto 最优解，这些解能够代表不同任务之间的不同权衡，该算法在许多多任务学习应用程序上具有优越性能。

Dec, 2019

多任务学习中的任务分组与重叠学习

提出一种基于稀疏系数和低维子空间的多任务学习框架，能够选择性地在相关任务间共享信息，实验结果显示该方法优于竞争方法。

Jun, 2012

具有先验信息的多任务学习

本文提出了一个利用任务间关系先验知识、通过对共享特征赋予类似系数惩罚、以及通过组稀疏方法捕获公共特征的多任务学习框架，将其定义为一个非光滑凸优化问题，在真实世界数据集的回归和分类任务上实验证明该算法可以提高多个相关任务的泛化性能。

Jan, 2023

分布式多任务关系学习

本文提出了一种基于参数服务器的分布式多任务学习框架，通过提供正则化多任务关系学习方法的对偶形式和一个通信有效的原始对偶分布式优化算法来同时学习每个任务的预测模型和任务之间的关系，以及提供针对分布式多任务关系学习的理论收敛分析。

Dec, 2016

多任务学习的博弈论模型

本文介绍了一种新的多任务学习优化过程 Nash-MTL，提出了一种将多个任务之间的梯度组合看作为协商议价游戏的方法，并将合理的 Nash 议价解作为多任务联合优化的原则方法。在实验中，我们显示 Nash-MTL 取得了各领域多个多任务学习基准测试的最佳结果。

Feb, 2022

可控的帕累托多任务学习

本文提出了一种新颖的可控 Pareto 多任务学习框架，用于实现多个任务之间的实时权衡控制，其中超网络生成与偏好条件相关的模型参数，以实现基于不同权衡偏好的模型性能实时控制。

Oct, 2020

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016