本文提出了用随机梯度下降的方法（MGDRec）来解决推荐系统中多目标优化问题，通过梯度规范化将不同度量指标作为一个整体优化，确保同时提升多个利益相关者的目标，避免了全梯度计算的缺点并且在提高准确率的同时也提升了产品的质量。

Dec, 2019

Adam 是一种用于基于梯度的随机目标函数优化的算法，它基于低阶矩的自适应估计。该算法易于实现、计算效率高、占用内存少，在对梯度进行对角重缩放时不变，并且非常适合在数据和 / 或参数方面比较大的问题。此外，它也适合于非平稳目标和存在噪声和 / 或稀疏梯度的问题。该算法的超参数具有直观解释，并且通常需要很少的调整。实证结果表明 Adam 在实践中效果良好，并且与其他随机优化方法相比具有优势。此外，还讨论了一种基于无穷范数的 Adam 变体 AdaMax。此外，我们还分析了该算法的理论收敛性质，并提供了一个和在线凸优化框架下已知最好的收敛速率相当的遗憾界。

Dec, 2014

将 Adam、Adagrad 和 Amsgrad 等流行的自适应随机优化方法扩展到里曼流形上面的困难以及基于里曼流形的优化算法和渐进结果的提出，同时在实验中证明该算法比原算法更快且表现更好。

Oct, 2018

引入了 MADGRAD 优化方法，其表现优异，不仅适用于视觉领域中的分类和图像转换任务，还适用于自然语言处理中的循环和双向掩蔽模型。在每个任务中，MADGRAD 的测试结果均优于 SGD 和 ADAM，并且在自适应方法通常表现差的问题上也表现出色。

Jan, 2021

研究随机多梯度 (SMG) 方法，将其作为经典随机梯度方法的扩展，用于解决具有不确定性数据的多目标优化问题。通过建立计算 Pareto 前沿的速率，将 SMG 方法帧入 Pareto-front 类型算法，可以鲁棒地确定 Pareto 前沿，并可应用于多个问题上，例如在机器学习中的逻辑二元分类。

Jul, 2019

本文研究一类自适应梯度基于动量的算法，这些算法同时使用过去的梯度更新搜索方向和学习率。该类算法被称为 Adam 类型，研究了一些充分条件，保证了这些方法在解决非凸优化问题时的收敛性，为训练深度神经网络提供了理论支持。另外，文中提出了一类（确定性）增量自适应梯度算法，收敛速度与 Adam 类型算法相同，可以应用于更广泛的机器学习和优化问题。

Aug, 2018

本篇文章提出了 Conflict-Averse Gradient descent (CAGrad) 算法，用于优化多任务学习。CAGrad 算法可以自动平衡各项指标的目标，同时还保证可以收敛到平均损失的最小值，并在多任务学习和强化学习任务中取得了优秀的性能。

Oct, 2021

我们提出了一种新的多目标优化算法，基于 Jacobian 下降方法，并设计了一个特定的汇集器来确保更新向量不与任何目标冲突，并且与每个梯度的范数成比例；我们在简单的图像分类任务中引入了实例风险最小化学习方法，实验展示了该方法相比于平均损失的直接最小化的有希望的结果，并且验证了我们理论上的发现，最后，为了提高 Jacobian 下降的速度，我们提供了更高效实现的路径。

Jun, 2024

本文介绍了一类针对非线性最优化问题的多层算法，旨在降低计算成本，避免受噪音影响，其中包含了不需要评估目标函数的 AdaGrad 方法，并应用于深度神经网络的训练中，用于解决监督学习问题。

Feb, 2023

提出了一种快速且普适的自适应梯度优化算法超级 Adam，能够用于解决通用的问题，结合了动量和方差缩小技术，并提供了自适应梯度方法在非凸条件下的收敛分析支持，理论上证明了算法能达到当前最低梯度级别（即随机一阶 Oracle（SFO））复杂度找到非凸优化的 ε- 稳定点。实验结果验证了算法优于现有的自适应算法。

Jun, 2021