ICMLJun, 2022

一种具有几乎不依赖维度的全局黑盒优化方法及其收敛速率保证

PDF
TL;DR本文提出了一种基于对偶探索方法的普适梯度优化算法 UnderGrad，可以在无需先验知识的情况下，对包括具有适应性 Lipschitz 光滑性和随机梯度代价的问题进行高效求解。
发现论文，激发创造
  • UniXGrad：一种具有优化保证的通用自适应约束优化算法

    提出了一种新颖的自适应加速算法，通过 Mirror-Prox 方法，同时实现了平滑 / 非平滑问题和确定性 / 随机一阶预测器的最优解，且不需要先验知识，这是第一个在约束条件下实现最优解的自适应、统一算法，并通过大量数值实验展示了其实用性。

    Oct, 2019

  • 具有小维松弛预测器的原始 - 对偶加速梯度方法

    本文提出一种新的加速梯度下降的变种，该方法不需要任何有关目标函数的信息，使用精确线性搜索进行实际加速收敛，可以根据已知的凸和非凸目标函数的下界进行收敛，具有原始对偶属性，并可在非欧几里得设置中应用。同时，我们还提出了一种适用于非平滑问题的通用方法。

    Sep, 2018

  • MixedGrad: 一种 O (1/T) 收敛率算法用于随机平滑优化

    本文将提出一种新的混合优化方法用于平滑函数优化的同时，考虑了随机预测和完整梯度的优化，通过最多使用 O (lnT) 次完整梯度 oracle 和 O (T) 次随机 oracle，可以实现 O (1/T) 的优化误差。

    Jul, 2013

  • 通用梯度下降

    本书集合了很多关于梯度下降方法的不同而有用的知识点，包括带不精确 oracle 的梯度下降法、复合优化方法、proximal 方法，研究它们在普遍模型中的原始 - 对偶属性，最后将方法推广到通用的方法。

    Nov, 2017

  • 在线自适应方法、普适性和加速

    本文针对凸无约束优化问题提出了一种新方法，通过一种自适应学习率规则和线性耦合两个序列的方式，利用重要权重和自适应在线学习算法的思想实现了对光滑目标、非光滑一般情况和随机优化的加速收敛。实证分析表明了本方法在上述场景中的适用性并证实了我们的理论发现。

    Sep, 2018

  • 加速无需参数的随机优化

    提出一种方法，在光滑随机凸优化中实现接近最优的速率，几乎不需要先验问题参数知识，通过结合 UniXGrad 和 DoG，使用新的迭代稳定技术，在仅具有对 d0 和噪声大小的粗略上界的情况下，提供了对于子高斯噪声的高概率保证，并且在非光滑的情况下也接近最优。在凸问题上表现出一致且强大的性能，在神经网络训练上的结果有所不同。

    Mar, 2024

  • 加速梯度算法与自适应子空间搜索用于快速实例优化

    设计和分析基于梯度的算法，适用于机器学习中的优化问题，包括线性回归等，并改进了现有的复杂度下界。

    Dec, 2023

  • 一种简单的无需线搜索的凸优化均匀最优方法

    本文提出了一种新的加速梯度下降方法（AC-FGM），可以在没有给定全局 Lipschitz 常数或使用线性搜索过程的情况下，实现平滑凸优化的最优收敛速率，并将 AC-FGM 扩展到具有 Hölder 连续梯度的凸优化问题，自动实现所有问题类别的最优收敛速率，并在凸优化中演示了 AC-FGM 相对于以前开发的无参数方法的优势。

    Oct, 2023

  • 普通最小二乘回归的更快、更好、更坚强的收敛速率

    提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

    Feb, 2016

  • （随机）梯度方法的统一最优分析

    证明在 L - 平滑度条件下，随机梯度下降的迭代收敛速度的数量级为 O (LR2exp [-(mu/4L) T]+sigma2/muT), 其中 sigma2 是随机噪声方差，且收敛速度与最佳已知的 GD 和 SGD 迭代复杂度匹配.

    Jul, 2019