不确定性损失降低非对称多任务特征学习的负迁移

AAAIDec, 2020

不确定性损失降低非对称多任务特征学习的负迁移

Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning

Rafael Peres da Silva, Chayaporn Suphavilai, Niranjan Nagarajan

TL;DR本文提出了一种解决多任务学习中负迁移问题的方法 —— 不对所有任务赋予相等的影响，而是根据任务损失和可信度进行加权处理，在两个数据集上的实验表明该方法能够有效减少负迁移，提高多任务学习的鲁棒性。

Abstract

multi-task learning (MTL) is frequently used in settings where a target task has to be learnt based on limited training data, but knowledge can be leveraged from related auxiliary tasks. While MTL can improve task performance overall relative to single-task learning (STL), these improv

multi-task learning asymmetric multitask feature learning negative transfer aleatoric homoscedastic uncertainty robust mtl

发现论文，激发创造

深度非对称多任务特征学习

提出了 Deep-AMTFL 模型，可以通过使用不对称自编码器技术，在多任务学习中有效地学习共享的深度表示，同时有效地防止在特征共享过程中可能发生的负迁移。

Aug, 2017

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

多任务学习可改善最差组结果

为了创建能为多样用户提供服务的机器学习系统，需要不仅实现高的平均性能，还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力，并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明，我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。

Dec, 2023

利用指数移动平均损失加权策略，减轻多任务学习中的负面转移

本文介绍了多任务学习中的负迁移问题，提出了一种通过指数移动平均进行损失平衡的技术，以达到深度学习模型的高效训练，实现了与当前最佳方法相媲美的效果。

Nov, 2022

基于偏差 - 方差分析的可解释性目标特征聚合多任务学习

提出了一种多任务学习方法，该方法基于任务聚类和特征变换，通过目标和特征的两阶段迭代聚合来提高回归模型的泛化能力，并在合成数据和真实世界的数据集上进行了验证。

Jun, 2024

多任务学习中常见假设的挑战

多任务学习中的优化器选择、梯度冲突、迁移性以及与单任务学习的相似性的研究

Nov, 2023

公平的多任务学习

本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。

Jun, 2023

灵活任务聚类的凸多任务学习

本文提出了一种基于特征层次的多任务学习模型，实现了对任务关系的探索，并对合成数据和真实世界数据进行了实验验证，结果表明该模型的准确性在各种任务关系程度下表现最佳，具有较高的应用价值。

Jun, 2012

利用辅助大任务学习具有不一致标签的多项任务

该研究提出了一种框架，通过联合利用来自具有足够多类别的大型辅助任务和这些任务之间共享的信息，来学习在训练样本有限、标签集仅部分重叠或甚至没有的多任务。其关键思想是利用可用的标签信息，自适应地修剪辅助网络的隐藏层神经元，构建每个任务的相应网络，并伴随着个别任务的联合学习。实验结果表明，该方法比最先进的方法更加有效。

Jan, 2022

持续学习自然语言新任务中预防灾难性遗忘

该论文提出了一种基于知识蒸馏的增量学习方法，利用未标记数据避免灾难性遗忘，该方法在公开基准测试中表现出显著的效果，能够保存已获取的知识，并对增量添加的任务获得良好的性能。

Feb, 2023