研究随机多梯度 (SMG) 方法，将其作为经典随机梯度方法的扩展，用于解决具有不确定性数据的多目标优化问题。通过建立计算 Pareto 前沿的速率，将 SMG 方法帧入 Pareto-front 类型算法，可以鲁棒地确定 Pareto 前沿，并可应用于多个问题上，例如在机器学习中的逻辑二元分类。
Jul, 2019
提出一种新的联邦多目标学习 (FMOL) 框架，使多个客户端通过分布式和协作的方式解决多目标优化问题，同时保持其训练数据的私密性。该框架支持不同客户端之间的不同目标函数，将多目标优化的思想推广到联邦学习范式中，并提出两种新的联邦多目标优化算法，分别为联邦多梯度下降平均 (FMGDA) 和联邦随机多梯度下降平均 (FSMGDA)。这两种算法通过本地更新显著降低通信成本，并达到与单目标联邦学习的算法相同的收敛速度。大量实验证实了所提出的联邦多目标优化算法的有效性。
Oct, 2023
通过引入自动学习范式，我们介绍了一种新的自动优化多目标优化问题的学习方法，并提出了一种多梯度学习优化（ML2O）方法，通过自动学习多个梯度以更新方向。通过引入新的守卫机制，我们提出了一种守卫多梯度学习优化（GML2O）方法，并证明了 GML2O 生成的迭代序列收敛到一个 Pareto 临界点。实验结果表明，我们学习的优化器在训练多任务学习神经网络方面胜过手动设计竞争对手。
Nov, 2023
我们的目标是为机器学习从业者提供清晰、实用的指南，以有效地应用多目标优化 (MOO)，特别是在深度学习 (DL) 的背景下。
May, 2024
本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
Dec, 2021
本文提出了基于方向的多目标问题、Stochastic Direction-oriented Multi-objective Gradient Descent 和 SDMGrad-OS 算法，实现了多任务学习和强化学习中的多目标优化。
May, 2023
我们介绍了一种全球无梯度替代优化策略，用于昂贵的黑盒函数，其灵感来自于福克 - 普朗克和朗之万方程。该方法依赖于归一化流密度估计，以执行主动学习和选择评估的提案点。该策略与贝叶斯优化方法使用的收敛函数截然不同，并可适应一系列替代选择。我们在标准的合成测试函数、中等维度的非凸多模式后验以及科学和神经网络超参数优化等实际目标上展示了与最先进基线相竞争的优势或有竞争力的进展。
本文研究了多目标优化问题中更一般且更现实的平滑损失函数类别，在神经网络中，提出了两种新颖的单循环算法 GSMGrad 和 SGSMGrad，以逼近在所有目标之间最大化最小改进的冲突避免方向。
通过使用神经网络优化 Pareto 前沿上的最大最小距离，本论文提出了一种构建均匀分布 Pareto 目标的方法，缓解了之前多目标优化方法中所存在的有限多样性问题，并通过实验验证了该方法在生成高质量均匀 Pareto 目标方面的有效性以及优于现有最先进方法的鼓舞人心的性能。
Feb, 2024
本研究提出一种直接在特征空间中根据偏好条件来调整神经网络的多目标优化方法，通过对解决方案进行惩罚来维持小角度到偏好向量的方法确保了良好分布的 Pareto 曲线，实验证明我们的 Pareto 前缘尽管计算速度显著更快，但也达到了业内最先进的质量，并展示了其可扩展性。
Mar, 2021