通过搜索平坦极小值的多任务合作学习

Sep, 2023

通过搜索平坦极小值的多任务合作学习

Multi-Task Cooperative Learning via Searching for Flat Minima

Fuping Wu, Le Zhang, Yang Sun, Yuanhan Mo, Thomas Nichols...

TL;DR多任务学习 (MTL) 在医学图像分析中显示出巨大潜力，通过提高学到的特征的泛化能力和各项任务的性能。本研究将 MTL 作为一个多 / 双层优化问题，采用合作式的方式让特征从各任务中学习，以减轻优化过程中的负迁移问题。实验证明了该方法的有效性，并且与最先进的 MTL 方法相比取得了有希望的结果。

Abstract

multi-task learning (MTL) has shown great potential in medical image analysis, improving the generalizability of the learned features and the performance in individual tasks. However, most of the work on MTL focuses on either architecture design or gradient manipulation, while in both

multi-task learning medical image analysis cooperative learning optimization problem negative transfer problem

发现论文，激发创造

寻找基于任务的平坦区域以提高多任务学习

本文研究了多任务学习领域的一种新方法，使用名为 Sharpness-aware Minimization 的训练技术，以提高单任务学习的通用性和多任务学习的性能。实验表明，该方法在多个应用程序中都有很好的表现。

Nov, 2022

多任务稀疏结构学习

本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

Sep, 2014

复杂视觉系统上的多任务学习鲁棒性分析

多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

Feb, 2024

灵活任务聚类的凸多任务学习

本文提出了一种基于特征层次的多任务学习模型，实现了对任务关系的探索，并对合成数据和真实世界数据进行了实验验证，结果表明该模型的准确性在各种任务关系程度下表现最佳，具有较高的应用价值。

Jun, 2012

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

深度神经网络的多任务学习：一项调查

本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

Sep, 2020

多任务学习与部分监督的结合：计算机视觉综述

多任务学习通过使用共享资源同时计算多个输出，具有比传统方法更低的内存需求和推理时间，本综述主要研究多任务学习如何在不同的部分监督设置下应用以解决相关挑战。

Jul, 2023

多任务学习的博弈论模型

本文介绍了一种新的多任务学习优化过程 Nash-MTL，提出了一种将多个任务之间的梯度组合看作为协商议价游戏的方法，并将合理的 Nash 议价解作为多任务联合优化的原则方法。在实验中，我们显示 Nash-MTL 取得了各领域多个多任务学习基准测试的最佳结果。

Feb, 2022

跨越多任务学习和元学习：迈向高效训练和有效适应

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

Jun, 2021