本论文将多任务学习作为多目标优化来解决，并提出了一种基于梯度下降优化算法的上限边界，证明了在现实情况下优化这个上限边界将得到帕累托最优解，在多任务深度学习问题上应用我们的方法表现出比最近的多任务学习公式或每项任务训练的模型更高的性能。

Oct, 2018

本文提出了一种多目标优化的多任务学习方法，通过迭代传递模型参数在优化过程中解决存在冲突的多个任务，并在图像分类、场景理解和多目标回归问题中进行了实验验证，结果显示该方法显著提升了发现满足 Pareto 优化的模型集合的状态，尤其在大规模图像数据集上的实验中，比现有技术取得了近两倍的超体积收敛速度。

Mar, 2024

本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。

Oct, 2019

本文提出了一个正则化框架下的向量值学习算法的一般化分析。该论文扩展了现有假设空间，损失函数平滑性和低噪声条件的限制。此外，作者还将这些结果应用于多类别和多标签分类。

Apr, 2021

机器学习模型的超参数优化是一个具有多目标的挑战性问题，本研究提出了一种多目标贝叶斯优化算法，通过统一目标规范化和随机化权重在标量化中解决了不同目标尺度的问题，并通过限制目标来提高算法效率，最后通过并行化加速了优化过程。

Sep, 2023

使用多目标优化的方法直接优化错误 - 公平性权衡，并提出了一个灵活的框架来定义权重分类问题和多个代价函数，以减少优化参数，同时在真实问题中获得了更好的错误 / 公平性权衡解决方案。

Apr, 2023

提出了一种使用动态损失函数来进行多目标训练神经网络以逼近 Pareto 前沿的新方法，在三个多目标问题上的实验表明，本方法无需预先指定权衡向量即可以返回分布在不同权衡方案上的输出，并且与现有技术相比具有更多的优势，尤其是对于非对称 Pareto 前沿。

Feb, 2021

本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

Jul, 2019

本文提出了一种用于多目标强化学习的新算法，可以以一种无量纲的方式设置目标的偏好，并且通过学习行动分布和拟合参数策略来在高维实际机器人任务及模拟任务中展示了其有效性，从而找到一组非支配解空间。

May, 2020

在多任务学习领域的研究中，线性标量化一直是文献中的默认选择。然而，近年来出现了将多任务学习视为多目标优化问题的专用多任务优化器（SMTOs）的兴趣激增，因此是否有 SMTOs 相对于标量化算法的基本优势还是个开放的问题。本文从理论角度重新审视标量化，研究线性多任务学习模型是否能完全探索帕累托前沿，并发现无法实现全面探索，特别是那些在多个任务之间取得平衡权衡的帕累托最优解。实验证实了我们的理论发现，并揭示了 SMTOs 在寻求平衡解决方案方面的潜力。

Aug, 2023