具有风险剩余的鲁棒多任务学习
本文介绍了多任务学习中的负迁移问题,提出了一种通过指数移动平均进行损失平衡的技术,以达到深度学习模型的高效训练,实现了与当前最佳方法相媲美的效果。
Nov, 2022
本文提出了一种名为 EMTL 的新型多任务学习优化方法,通过正则化不同任务的相对贡献,在更新共享参数时改善了多任务学习的泛化性能,并通过扩展实验验证了该方法的稳定性和优越性。
Jun, 2023
为了创建能为多样用户提供服务的机器学习系统,需要不仅实现高的平均性能,还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力,并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明,我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。
Dec, 2023
本文提出了一种新型的多任务学习框架 —— 广义损失组合范式,包括许多特殊情况,其中一种是最小最大多任务学习,表现良好,尤其是在学习转移测试环节。
Sep, 2012
本文提出随机加权方法(包括随机损失权重和随机梯度权重),并进行了收敛性分析和实证评估,结果表明随机加权方法具有可比拟的性能和更好的泛化能力,是多任务学习的重要基线方法之一。
Nov, 2021
本文提出了一种基于特征层次的多任务学习模型,实现了对任务关系的探索,并对合成数据和真实世界数据进行了实验验证,结果表明该模型的准确性在各种任务关系程度下表现最佳,具有较高的应用价值。
Jun, 2012
本文提出了一种分布式和异步优化的多任务学习框架,该框架能够有效地解决数据存储在不同地点时的挑战,同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。
Sep, 2016
本文提出了一种新颖的可控 Pareto 多任务学习框架,用于实现多个任务之间的实时权衡控制,其中超网络生成与偏好条件相关的模型参数,以实现基于不同权衡偏好的模型性能实时控制。
Oct, 2020
本文介绍了一种新的多任务学习优化过程 Nash-MTL,提出了一种将多个任务之间的梯度组合看作为协商议价游戏的方法,并将合理的 Nash 议价解作为多任务联合优化的原则方法。在实验中,我们显示 Nash-MTL 取得了各领域多个多任务学习基准测试的最佳结果。
Feb, 2022