本文提出了一种可扩展的随机主化最小化方案，能够应对大规模或可能无限的数据集，解决凸优化问题，并开发了几种基于此框架的有效算法，包括一个新的随机近端梯度方法，用于大规模 l1 逻辑回归的非凸稀疏估计的在线 DC 编程算法和解决大规模结构矩阵分解问题的有效性。

Jun, 2013

我们考虑了一类非凸主泛函，证明这些主泛函仍足以保证全局收敛的优化算法，并通过对原始飞行时间数据的深度超分辨率来说明我们算法的行为。

Feb, 2018

本文提出了一种新的主化 - 最小化（MM）方法，适用于非光滑和非凸规划，其广泛性足以涵盖现有的 MM 方法。与现有的 MM 方法相比，该方法构建替代函数的方式更优越，相应的算法在抗干扰矩阵分解问题（RMF）中得到应用，并非仅仅基于平滑部分逼近的代理函数，而是直接逼近非平滑目标函数。

Nov, 2015

使用 Taylor 模式自动微分的近期泛化方法，我们提出了自动推导 majorizer 的优化器，这些通用的 Majorization-Minimization 优化器可应用于任意问题，并且从任何起始点收敛，无需超参数调整。

Jul, 2023

本文通过分析优化问题的计算复杂性，阐明了一系列非凸非凹目标函数的约束极值优化问题存在的困难，同时证明了该问题在 Nemirovsky-Yudin 模型中的难度，这与最小化问题在同样设置下可以使用 Projected Gradient Descent 进行近似局部最小值的行为形成了对比。

Sep, 2020

本文研究了黑盒环境下有约束的鲁棒（最小 - 最大）优化问题，并采用了零阶梯度估计器与交替投影随机梯度下降 - 上升方法的优化框架，称为 ZO-Min-Max，旨在探索在对抗机器学习中的黑盒最小 - 最大优化与黑盒逃避和污染攻击之间的可能联系。实证评估表明了该方法的有效性和可扩展性。

Sep, 2019

该篇研究综述了一系列针对包含大量凸组件函数的最小化求和问题的方法，这些方法通常采用单个组件的迭代，并分析了这些方法的收敛性和收敛速度。 此外，作者还探讨了这些方法在推理 / 机器学习、信号处理和大规模 / 分布式优化等方面的应用。

Jul, 2015

本文介绍了一种非凸二阶优化算法，其时间复杂度与样本维度和训练样本数量呈线性关系，在训练神经网络和其他非凸目标的机器学习问题上具有广泛应用，并可以保证返回近似局部最小值。

Nov, 2016

本文讨论了数值优化算法在机器学习应用中的过去、现在和未来。通过文本分类和深度神经网络训练的案例研究，探讨优化问题在机器学习中的出现和挑战，强调了大规模机器学习环境下随机梯度方法的重要性和传统梯度优化方法的局限性。基于这种视角，提出一种简单，通用的随机梯度算法，并讨论其实际表现和改进机会。最后，针对大规模机器学习的下一代优化方法进行了探讨，包括降低随机方向噪声的技术和使用二阶导数近似的方法两大研究方向。

Jun, 2016

本文研究了许多学习应用中天然存在的连续子模函数的最大化问题，证明了随机投影梯度方法在凸约束下可以提供强的逼近保证，然后将其应用于随机子模函数的最大化问题，最后通过实验证明了该方法的有效性和实用性。

Aug, 2017