本文通过建立黑盒稳定性结果，仅依赖于学习算法的收敛和损失函数最小值周围的几何形态，为收敛到全局最小值的学习算法建立新的泛化界限，适用于满足 Polyak-Lojasiewicz（PL）和二次增长（QG）条件的非凸损失函数以及一些具有线性激活的神经网络，并使用黑盒结果来证明 SGD、GD、RCD 和 SVRG 等优化算法的稳定性在 PL 和强凸设置中具有可拓展性，同时指出存在简单的具有多个局部最小值的神经网络，在 PL 设置下 SGD 稳定，但 GD 不稳定。

Oct, 2017

该论文将 Nesterov 的加速梯度方法推广到非凸和可能的随机优化问题中，证明该方法可以最优地解决一般的非凸光滑优化问题，并可应用于重要类的复合优化问题和非凸随机优化问题，是文献中第一次确立了 AG 方法解决非凸非线性规划的收敛性。

Oct, 2013

通过使用基于超平面的决策树将非线性约束进行建模，并利用这些树构建原问题的统一混合整数优化（MIO）近似，本研究提出了扩展解决方案，包括使用其他可转化为 MIO 的机器学习模型（如梯度提升树、多层感知器和支持向量机）逼近原问题，提出自适应采样方法以获得更准确的基于机器学习的约束近似，利用鲁棒优化来考虑样本依赖性训练的不确定性，并利用一组松弛方法来处理最终的 MIO 近似的不可行性。然后我们在 81 个全局优化实例中测试了增强的框架，并展示了大多数实例中解的可行性和最优性的改进。我们还与 BARON 进行了比较，在 11 个实例中显示了更好的最优间隙或解决时间。

Nov, 2023

该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸性常数来实现其保证。最后，本文还展示了将该方案应用于增量算法的几个实验结果。

Mar, 2017

我们开发了一种基于多维积分的概率方法，用于求解全局最优解，该方法不需要梯度信息，具有收敛性和适用于任意维度的特性。通过在多个非凸测试函数上的实证研究，我们发现该方法在遗憾值和收敛速度方面优于许多现有的状态 - of-the-art 方法。

Oct, 2023

本文提出了 AdaACSA、AdaAGD + 等新的自适应一阶优化算法，以加速受限制的凸优化问题中的收敛速度，同时针对平滑和不平滑函数，实现几乎最优的收敛速率；同时，通过自动调整每个坐标学习率，这些算法不需要固定事先知道目标函数的参数化，是针对限制优化的真正加速 Adagrad 方法之一。此外，本文提出了适用于无限制优化和单调算子的自适应方法，并附有具体的算法实现。

Jul, 2020

本文针对凸无约束优化问题提出了一种新方法，通过一种自适应学习率规则和线性耦合两个序列的方式，利用重要权重和自适应在线学习算法的思想实现了对光滑目标、非光滑一般情况和随机优化的加速收敛。实证分析表明了本方法在上述场景中的适用性并证实了我们的理论发现。

Sep, 2018

本研究介绍了一种基于条件梯度算法的优化模型，可用于求解线性优化问题和非线性凸优化问题，并给出了一种基于此算法的在线凸优化算法，具有线性收敛速度和最优的遗憾保证。

Jan, 2013

Gradient Information Optimization（GIO）是一种高度可扩展的、任务不可知的数据选择方法，可在仅需要一小组代表目标分布的（未标记的）示例的情况下，训练具有优秀结果的模型。

Jun, 2023

研究非凸极小问题的解决方案，提出两种算法 AGDA 和随机 AGDA，以及一种方差缩减算法，可以应用于类似生成对抗网络和对抗学习等新兴机器学习应用。

Feb, 2020