研究随机多梯度 (SMG) 方法，将其作为经典随机梯度方法的扩展，用于解决具有不确定性数据的多目标优化问题。通过建立计算 Pareto 前沿的速率，将 SMG 方法帧入 Pareto-front 类型算法，可以鲁棒地确定 Pareto 前沿，并可应用于多个问题上，例如在机器学习中的逻辑二元分类。

Jul, 2019

本文提出了基于方向的多目标问题、Stochastic Direction-oriented Multi-objective Gradient Descent 和 SDMGrad-OS 算法，实现了多任务学习和强化学习中的多目标优化。

May, 2023

设计和分析基于梯度的算法，适用于机器学习中的优化问题，包括线性回归等，并改进了现有的复杂度下界。

Dec, 2023

通过非统一的平滑性和非统一的 Lojasiewicz 不等式，提出了一些新的方法，用于更快地达到全局最优点，在强化学习和监督学习中表现出了广泛的适用性及实验效果。

May, 2021

通过引入自动学习范式，我们介绍了一种新的自动优化多目标优化问题的学习方法，并提出了一种多梯度学习优化（ML2O）方法，通过自动学习多个梯度以更新方向。通过引入新的守卫机制，我们提出了一种守卫多梯度学习优化（GML2O）方法，并证明了 GML2O 生成的迭代序列收敛到一个 Pareto 临界点。实验结果表明，我们学习的优化器在训练多任务学习神经网络方面胜过手动设计竞争对手。

Nov, 2023

该研究介绍了一种与梯度下降上升（GDA）算法相结合的 “平滑” 方案，以解决非凸 - 凹最小 - 最大问题，此方案能够稳定振荡，并确保收敛到一个定值解。实验结果表明，平滑后的 GDA 算法对于 minimizing pointwise maximum of a finite collection of nonconvex functions 可以实现 O (1/ε^2) 的迭代复杂度，对于 general nonconvex-concave problems 可以实现 O (1/ε^4) 的迭代复杂度，并且将该算法扩展到多个区块的情况下。

Oct, 2020

证明在 L - 平滑度条件下，随机梯度下降的迭代收敛速度的数量级为 O (LR2exp [-(mu/4L) T]+sigma2/muT), 其中 sigma2 是随机噪声方差，且收敛速度与最佳已知的 GD 和 SGD 迭代复杂度匹配.

Jul, 2019

提出一种新的联邦多目标学习 (FMOL) 框架，使多个客户端通过分布式和协作的方式解决多目标优化问题，同时保持其训练数据的私密性。该框架支持不同客户端之间的不同目标函数，将多目标优化的思想推广到联邦学习范式中，并提出两种新的联邦多目标优化算法，分别为联邦多梯度下降平均 (FMGDA) 和联邦随机多梯度下降平均 (FSMGDA)。这两种算法通过本地更新显著降低通信成本，并达到与单目标联邦学习的算法相同的收敛速度。大量实验证实了所提出的联邦多目标优化算法的有效性。

Oct, 2023

我们开发了一种梯度下降法的新次优性边界，该边界依赖于优化路径中的目标条件，而不是全局最坏情况下的常数。我们的证明关键在于方向平滑性，这是一种梯度变化的度量，我们用它来开发上界约束。通过求解隐式方程来最小化这些上界约束，我们展示了这些方程对于凸二次函数是容易解决的，并为两种传统步长提供了新的保证。对于一般函数，我们证明了 Polyak 步长和归一化梯度下降法尽管不使用方向平滑性的任何知识，但能够获得快速的路径相关性。逻辑回归上的实验证明，我们的收敛保证比基于 L 平滑性的传统理论更紧致。

Mar, 2024

该研究介绍了一种局部一阶平滑性 oracle（LFSO），可以用于调整梯度下降方法的步长，从而改善全局和局部收敛性。通过应用 LFSO 于修正的一阶方法，可以在非强凸问题中实现全局线性收敛速度，从而提高了一般（加速）一阶方法的收敛率下界。

Nov, 2023