本文讨论了多任务学习中组公平性对于准确性的影响,提出了一种新的测量多维 Pareto 前沿的公平性 - 准确性权衡的方法,并提出了一种多任务感知公平性(MTA-F)方法来改善多任务学习中的公平性。实验结果表明,该方法的有效性。
Jun, 2021
通过公平资源分配的灵感,我们提出了一种新的多任务学习优化方法 FairGrad,通过最大化不同公平度量下任务间的损失减少来优化多任务学习,实现了理论上的收敛保证,并在监督学习中的各种多任务基准上取得了最先进的性能。
Feb, 2024
通过评估学习参数的相似性,将相关任务分组以减轻负迁移,并在这些任务组内纳入公平性损失梯度冲突校正,从而解决多任务学习中的负迁移和偏见传递问题。实验证明,FairBranch 在公平性和准确性方面优于最先进的多任务学习方法。
Oct, 2023
本文提出了一种名为 EMTL 的新型多任务学习优化方法,通过正则化不同任务的相对贡献,在更新共享参数时改善了多任务学习的泛化性能,并通过扩展实验验证了该方法的稳定性和优越性。
Jun, 2023
为了创建能为多样用户提供服务的机器学习系统,需要不仅实现高的平均性能,还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力,并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明,我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。
Dec, 2023
提出了一种新的在线元学习算法 FFML, 该算法能够在保证分类准确性的同时,学习与公平相连的模型参数。通过在三个真实世界数据集上进行实验,得到了具有显著优越性能的结果。
Aug, 2021
本文提出了一种解决多任务学习中负迁移问题的方法 —— 不对所有任务赋予相等的影响,而是根据任务损失和可信度进行加权处理,在两个数据集上的实验表明该方法能够有效减少负迁移,提高多任务学习的鲁棒性。
Dec, 2020
传统的训练方法在多任务学习 (MTL) 的广度与单任务学习 (STL) 的深度平衡方面常常面临挑战。为了解决这个问题,我们引入了多任务到单任务 (MT2ST) 框架,一种创新的方法,可以将 MTL 的普遍性与 STL 的精确性相结合。我们的工作包括两个策略:' 减弱 ' 和' 切换 '。' 减弱 ' 策略将逐渐减小辅助任务的影响,而 ' 切换 ' 策略则涉及在训练过程中的特定时间点从多任务转向单任务。
Jun, 2024
本文提出了一种新颖的可控 Pareto 多任务学习框架,用于实现多个任务之间的实时权衡控制,其中超网络生成与偏好条件相关的模型参数,以实现基于不同权衡偏好的模型性能实时控制。
Oct, 2020
多任务学习中的优化器选择、梯度冲突、迁移性以及与单任务学习的相似性的研究
Nov, 2023