Mar, 2020

探索激进，更新保守：变步长缩放的随机极限梯度法

PDF
TL;DR本研究通过调整双步长外推梯度算法的探索步骤与更新步骤的时间尺度，解决了使用随机梯度时基本版外推梯度算法的发散问题，并在误差界条件下推导出了尖锐的收敛速率。
extragradient methodsmachine learningconvergencestochastic gradientssharp convergence rates
发现论文，激发创造
  • 随机梯度下降与外推在非凸优化中的收敛性

    本文研究利用外推算法解决非凸优化问题的收敛性，并通过分析梯度下降和随机梯度下降算法证明外推可以加速算法的收敛速度。

    Jan, 2019

  • 重新审视随机外推算法

    通过新的采样策略来解决随机外推梯度法中的基本问题，并且证明可以解决变分不等式问题，以及比其他方法更快地收敛于双线性鞍点问题，同时探讨了外推梯度法在训练生成式对抗网络中的应用及其与其他方法的比较。

    May, 2019

  • 随机牛顿近端外推法

    我们提出了一种新颖的随机牛顿近端外推方法，改进了过去的方法，并在更少的迭代次数内达到更快的全局线性速率和相同的快速超线性速率。

    Jun, 2024

  • 随机变分不等式问题的最优鲁棒平滑外推算法

    本文考虑了随机泛型不等式问题及其解决方案，利用局部随机平滑方案求解，并证明了该解决方案在平均意义下和几乎肯定意义下都能收敛到问题的解，同时也实现了 $1/k$ 的收敛速度。

    Mar, 2014

  • 指数和余弦步长的再审视：简易性、适应性和性能

    研究指出指数步长和余弦步长是自适应噪声水平的，不需要知道噪声水平和调整超参数就可以达到几乎最佳性能。探讨了这两种优化策略的收敛速度和表现，实验证明它们最多只需要调整两个超参数就可达到优秀的表现。

    Feb, 2020

  • 优化中的外推法：收敛性与复杂性

    本文研究了解决两个函数之和的最小值问题的外推梯度方法，证明了在 Kurdyka-Lojasiewicz 假设下，该方法得到的序列收敛于问题的临界点并具有有限长度。该分析拓展到两个函数均为凸函数的情况，并证明了其次线性收敛率。此外，我们展示了将小型 prox 复杂度结果应用于此方法的方法。这个方法提供了一个机会来描述一种精确的线搜索方案，用于 proximal 分解方法。我们提供了实现这种方案对于一范数规则化最小二乘问题的细节，并展示了数值结果，这些结果表明将非加速方法与精确线搜索相结合可能是一个有竞争力的选择。

    Sep, 2016

  • 深度学习大批量训练中的外推

    本文提出使用计算有效的外推方法来稳定优化轨迹，同时通过平滑避免锐减的局部最小值，从而解决了大批量训练数据下的模型精度退化问题并且在 ResNet、LSTM 和 Transformer 等模型下得到证明。

    Jun, 2020

  • 一种带有指数收敛速率的随机梯度方法，适用于有限训练集

    本文提出了一个新的随机梯度方法用于优化一组平滑函数的和，其中和是强凸的。与标准随机梯度方法在这个问题上的次线性收敛相比，该方法通过记忆之前的梯度值来实现线性收敛率。在机器学习的背景下，数值实验表明，该方法可以明显优于标准算法，不仅在优化训练误差方面，而且可以快速降低测试误差。

    Feb, 2012

  • 随机梯度下降算法自适应步长的局部二次收敛

    研究了一种在求解矩阵求逆等问题中具有局部二次收敛性的随机梯度下降优化方法，该方法采用自适应步长和一阶优化方法，为优化方法在深度学习中的应用提供了一条快速收敛的途径。

    Dec, 2021

  • 指数梯度更新的步长自适应

    通过将指定的优化器与自适应调整方法相结合，基于指定的全局步长缩放和每个坐标的增益因子来调整全局步长，进而提高在大规模应用中优化器的性能，并用指数化梯度更新方法来更新步长范围和增益变量，可在训练期间快速适应数据分布差异。

    Jan, 2022