多任务学习中梯度聚合的贝叶斯不确定性
提出了一种多任务学习方法,该方法基于任务聚类和特征变换,通过目标和特征的两阶段迭代聚合来提高回归模型的泛化能力,并在合成数据和真实世界的数据集上进行了验证。
Jun, 2024
本文介绍了一种新的多任务学习优化过程 Nash-MTL,提出了一种将多个任务之间的梯度组合看作为协商议价游戏的方法,并将合理的 Nash 议价解作为多任务联合优化的原则方法。在实验中,我们显示 Nash-MTL 取得了各领域多个多任务学习基准测试的最佳结果。
Feb, 2022
本文提出了一种分布式和异步优化的多任务学习框架,该框架能够有效地解决数据存储在不同地点时的挑战,同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。
Sep, 2016
多任务学习中的问题和挑战,包括优化算法的评估,梯度级别的比较,梯度角度和相对梯度范数的局限性,以及基于特征提取器的潜在空间和特征解缠的训练监测结果。
Feb, 2024
通过公平资源分配的灵感,我们提出了一种新的多任务学习优化方法 FairGrad,通过最大化不同公平度量下任务间的损失减少来优化多任务学习,实现了理论上的收敛保证,并在监督学习中的各种多任务基准上取得了最先进的性能。
Feb, 2024
通过元学习方法在转导式环境中学习多个任务,通过使用未标记的查询集合生成更强大的模型来解决多任务学习中的问题,并提出了一种合成梯度网络和初始化网络组成的新型变分推理方法,优于以前的方法,并进一步探索了合成梯度的潜力。
Apr, 2020
本文提出了一种基于多模态任务分布的 adaptative meta-learning 算法,并采用该算法来识别各种从多模态分布中采样的任务,以更快速地实现适应。结果表明该算法对于计算机视觉、强化学习和回归等多种任务领域都具有普适性。
Dec, 2018
为了创建能为多样用户提供服务的机器学习系统,需要不仅实现高的平均性能,还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力,并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明,我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。
Dec, 2023
本文提出了一种名为 EMTL 的新型多任务学习优化方法,通过正则化不同任务的相对贡献,在更新共享参数时改善了多任务学习的泛化性能,并通过扩展实验验证了该方法的稳定性和优越性。
Jun, 2023