本文提出了一种多目标优化的多任务学习方法,通过迭代传递模型参数在优化过程中解决存在冲突的多个任务,并在图像分类、场景理解和多目标回归问题中进行了实验验证,结果显示该方法显著提升了发现满足 Pareto 优化的模型集合的状态,尤其在大规模图像数据集上的实验中,比现有技术取得了近两倍的超体积收敛速度。
Mar, 2024
该研究提出了一种全新 Pareto 多任务学习算法,通过将多任务学习看作是多目标优化问题,并将多目标优化问题分解为具有不同权衡偏好的一组约束子问题,该算法能够找到一组良好分布的 Pareto 最优解,这些解能够代表不同任务之间的不同权衡,该算法在许多多任务学习应用程序上具有优越性能。
Dec, 2019
采用多目标优化的方法,考虑梯度的时间行为,创建一个动态偏差,利用多任务学习的相关性来提高性能和泛化性能,并确保所有任务达到良好的泛化性能。
Apr, 2022
通过连接的强度,基于多任务学习提出了一种基于连接强度的优化方法,包括任务优先级的学习和梯度修改两个阶段,从而在多个任务中找到新的帕累托最优解,大大提升了多任务性能。
Jun, 2024
本文提出了一个利用任务间关系先验知识、通过对共享特征赋予类似系数惩罚、以及通过组稀疏方法捕获公共特征的多任务学习框架,将其定义为一个非光滑凸优化问题,在真实世界数据集的回归和分类任务上实验证明该算法可以提高多个相关任务的泛化性能。
Jan, 2023
本文研究多目标学习,建立其基础的泛化界限,分析真实目标和经验逼近目标的帕累托最优解之间的关系,同时发现存在对应的对称关系。
Aug, 2022
本文提出了一种新颖的可控 Pareto 多任务学习框架,用于实现多个任务之间的实时权衡控制,其中超网络生成与偏好条件相关的模型参数,以实现基于不同权衡偏好的模型性能实时控制。
Oct, 2020
本研究探讨了多目标优化策略与深度神经网络结合的有效性,通过案例研究证明了该方法在多种应用程序中生成预测和分析方面具有价值。
May, 2023
提出了一种新的、高效的方法,可以生成局部连续的 Pareto 集和 Pareto fronts,并将其应用于现代机器学习问题中。通过提出基于样本的稀疏线性系统,将多目标优化的理论结果扩展到现代机器学习问题中,并实现了局部 Pareto 集的分析。与现有算法相比,通过在各种多任务分类和回归问题上的应用,证明了我们的算法在平衡权衡、有效地找到更多的不同权衡解以及迎合百万级参数任务的能力。
Jun, 2020
本文提出了一种新的谱范数方法,用于多任务学习,假设任务被分成不同的群组,每个群组具有相似的权重向量,并演示其在合成数据及 IEDB MHC-I 结合数据集上的优秀表现。
Sep, 2008