多任务学习的博弈论模型

ICMLFeb, 2022

Multi-Task Learning as a Bargaining Game

Aviv Navon, Aviv Shamsian, Idan Achituve, Haggai Maron, Kenji Kawaguchi...

TL;DR本文介绍了一种新的多任务学习优化过程 Nash-MTL，提出了一种将多个任务之间的梯度组合看作为协商议价游戏的方法，并将合理的 Nash 议价解作为多任务联合优化的原则方法。在实验中，我们显示 Nash-MTL 取得了各领域多个多任务学习基准测试的最佳结果。

Abstract

In multi-task learning (MTL), a joint model is trained to simultaneously make predictions for several tasks. Joint training reduces computation costs and improves data efficiency; however, since the gradients of

multi-task learning joint model gradients combination bargaining game nash-mtl

发现论文，激发创造

深度神经网络的多任务学习：一项调查

本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

Sep, 2020

跨越多任务学习和元学习：迈向高效训练和有效适应

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

Jun, 2021

可控的帕累托多任务学习

本文提出了一种新颖的可控 Pareto 多任务学习框架，用于实现多个任务之间的实时权衡控制，其中超网络生成与偏好条件相关的模型参数，以实现基于不同权衡偏好的模型性能实时控制。

Oct, 2020

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

公平的多任务学习

本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。

Jun, 2023

复杂视觉系统上的多任务学习鲁棒性分析

多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

Feb, 2024

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

利用收敛行为平衡多任务学习中的矛盾任务

采用多目标优化的方法，考虑梯度的时间行为，创建一个动态偏差，利用多任务学习的相关性来提高性能和泛化性能，并确保所有任务达到良好的泛化性能。

Apr, 2022

视觉场景理解的多任务学习

研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

Mar, 2022

多任务学习中梯度聚合的贝叶斯不确定性

使用贝叶斯推断的梯度聚合方法能够考虑梯度不确定性，提高多任务学习的性能表现。

Feb, 2024