Oct, 2019

UniXGrad：一种具有优化保证的通用自适应约束优化算法

PDF
TL;DR提出了一种新颖的自适应加速算法，通过 Mirror-Prox 方法，同时实现了平滑 / 非平滑问题和确定性 / 随机一阶预测器的最优解，且不需要先验知识，这是第一个在约束条件下实现最优解的自适应、统一算法，并通过大量数值实验展示了其实用性。
adaptive algorithmstochastic optimizationconstrained settingmirror-prox methodnumerical experiments
发现论文，激发创造
  • 在线自适应方法、普适性和加速

    本文针对凸无约束优化问题提出了一种新方法，通过一种自适应学习率规则和线性耦合两个序列的方式，利用重要权重和自适应在线学习算法的思想实现了对光滑目标、非光滑一般情况和随机优化的加速收敛。实证分析表明了本方法在上述场景中的适用性并证实了我们的理论发现。

    Sep, 2018

  • 一种具有几乎不依赖维度的全局黑盒优化方法及其收敛速率保证

    本文提出了一种基于对偶探索方法的普适梯度优化算法 UnderGrad，可以在无需先验知识的情况下，对包括具有适应性 Lipschitz 光滑性和随机梯度代价的问题进行高效求解。

    Jun, 2022

  • 一种适应于光滑度和噪声的变分不等式通用算法

    该论文提出了一种基于 Mirror-Prox 算法的普适性算法，适用于具有噪声和非噪声数据以及平滑和非平滑函数的情况。算法通过适应性步长的选择来处理相关的约束问题，可以用于解决凸最小化和凸 - 凹鞍点问题等应用。

    Feb, 2019

  • 加速无需参数的随机优化

    提出一种方法，在光滑随机凸优化中实现接近最优的速率，几乎不需要先验问题参数知识，通过结合 UniXGrad 和 DoG，使用新的迭代稳定技术，在仅具有对 d0 和噪声大小的粗略上界的情况下，提供了对于子高斯噪声的高概率保证，并且在非光滑的情况下也接近最优。在凸问题上表现出一致且强大的性能，在神经网络训练上的结果有所不同。

    Mar, 2024

  • 一种普适最优的多阶段加速随机梯度方法

    研究如何在存在梯度估计噪声的情况下，通过使用多阶段加速算法，探讨最小化强凸光滑函数的问题，并通过采用特定的重启和参数选择，实现在确定性和随机情况下的最佳速率，以及在不知道噪声特性的情况下操作。

    Jan, 2019

  • 用主 - 对偶次梯度法最小化一致凸函数

    讨论非欧几里得确定性和随机算法，解决强凸和一致凸的优化问题，提供算法性能的准确性界限，设计针对强或一致凸性参数的自适应方法：在总迭代次数 $N$ 固定的情况下，它们的准确度与最优算法的准确度相同，直到 $N$ 的对数因子。

    Jan, 2014

  • 一种通用的原始 - 对偶凸优化框架

    提出一种新的原始对偶算法框架，以解决约束的凸优化问题，具有优秀的收敛速度和更高效的计算方式。

    Feb, 2015

  • 几乎必然受限凸优化

    我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。

    Jan, 2019

  • 针对复合凸光滑优化的随机梯度方法统一分析

    本文为最小化平滑和凸损失加上凸正则化的随机梯度算法提供了一致的收敛性分析定理，并探讨了特定算法的最优小批量大小。

    Jun, 2020

  • 适应性梯度方法用于约束凸优化和变分不等式问题

    本文提出了 AdaACSA、AdaAGD + 等新的自适应一阶优化算法，以加速受限制的凸优化问题中的收敛速度，同时针对平滑和不平滑函数，实现几乎最优的收敛速率；同时，通过自动调整每个坐标学习率，这些算法不需要固定事先知道目标函数的参数化，是针对限制优化的真正加速 Adagrad 方法之一。此外，本文提出了适用于无限制优化和单调算子的自适应方法，并附有具体的算法实现。

    Jul, 2020