多任务学习中的公平资源分配
本文提出了一种名为 EMTL 的新型多任务学习优化方法,通过正则化不同任务的相对贡献,在更新共享参数时改善了多任务学习的泛化性能,并通过扩展实验验证了该方法的稳定性和优越性。
Jun, 2023
提出了一种基于 L2T-FMT 算法的教师 - 学生网络,这种方法可以在多任务学习的情况下灵活选择优化目标(准确性或公平性),并且在公正性(12-19%)和准确性(最多 2%)上显著提高了表现。
Jun, 2022
通过评估学习参数的相似性,将相关任务分组以减轻负迁移,并在这些任务组内纳入公平性损失梯度冲突校正,从而解决多任务学习中的负迁移和偏见传递问题。实验证明,FairBranch 在公平性和准确性方面优于最先进的多任务学习方法。
Oct, 2023
本文讨论了多任务学习中组公平性对于准确性的影响,提出了一种新的测量多维 Pareto 前沿的公平性 - 准确性权衡的方法,并提出了一种多任务感知公平性(MTA-F)方法来改善多任务学习中的公平性。实验结果表明,该方法的有效性。
Jun, 2021
本文研究了多任务学习领域的一种新方法,使用名为 Sharpness-aware Minimization 的训练技术,以提高单任务学习的通用性和多任务学习的性能。实验表明,该方法在多个应用程序中都有很好的表现。
Nov, 2022
多任务学习中的问题和挑战,包括优化算法的评估,梯度级别的比较,梯度角度和相对梯度范数的局限性,以及基于特征提取器的潜在空间和特征解缠的训练监测结果。
Feb, 2024
为了创建能为多样用户提供服务的机器学习系统,需要不仅实现高的平均性能,还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力,并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明,我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。
Dec, 2023
本文提出了一种分布式和异步优化的多任务学习框架,该框架能够有效地解决数据存储在不同地点时的挑战,同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。
Sep, 2016
本文介绍了一种新的多任务学习优化过程 Nash-MTL,提出了一种将多个任务之间的梯度组合看作为协商议价游戏的方法,并将合理的 Nash 议价解作为多任务联合优化的原则方法。在实验中,我们显示 Nash-MTL 取得了各领域多个多任务学习基准测试的最佳结果。
Feb, 2022
本文提出了一种新颖的可控 Pareto 多任务学习框架,用于实现多个任务之间的实时权衡控制,其中超网络生成与偏好条件相关的模型参数,以实现基于不同权衡偏好的模型性能实时控制。
Oct, 2020