Mar, 2024

加速无需参数的随机优化

PDF
TL;DR提出一种方法，在光滑随机凸优化中实现接近最优的速率，几乎不需要先验问题参数知识，通过结合 UniXGrad 和 DoG，使用新的迭代稳定技术，在仅具有对 d0 和噪声大小的粗略上界的情况下，提供了对于子高斯噪声的高概率保证，并且在非光滑的情况下也接近最优。在凸问题上表现出一致且强大的性能，在神经网络训练上的结果有所不同。
stochastic convex optimizationunixgraddogiterate stabilization techniquessub-gaussian noise
发现论文，激发创造
  • DoWG Unleashed: 高效通用无参梯度下降方法

    DoWG 是一种新的易于实现的无需调参的梯度下降算法，通过保留运行平均差值的加权版本达到最佳状态，并显示出其适用于优化平滑和非平滑问题，同时还揭示了 AdaGrad 算法成功背后的基本原理。

    May, 2023

  • 一种普适最优的多阶段加速随机梯度方法

    研究如何在存在梯度估计噪声的情况下，通过使用多阶段加速算法，探讨最小化强凸光滑函数的问题，并通过采用特定的重启和参数选择，实现在确定性和随机情况下的最佳速率，以及在不知道噪声特性的情况下操作。

    Jan, 2019

  • UniXGrad：一种具有优化保证的通用自适应约束优化算法

    提出了一种新颖的自适应加速算法，通过 Mirror-Prox 方法，同时实现了平滑 / 非平滑问题和确定性 / 随机一阶预测器的最优解，且不需要先验知识，这是第一个在约束条件下实现最优解的自适应、统一算法，并通过大量数值实验展示了其实用性。

    Oct, 2019

  • 一种用于无导数平滑随机凸优化的加速方法

    本文研究优化问题中目标函数存在不确定的噪声干扰，提出了基于导数的无导数算法，考虑了稀疏向量情况下使用 1 范数正则化的优化模型。

    Feb, 2018

  • 通过方差减少方法的随机零阶优化

    本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

    May, 2018

  • 在线自适应方法、普适性和加速

    本文针对凸无约束优化问题提出了一种新方法，通过一种自适应学习率规则和线性耦合两个序列的方式，利用重要权重和自适应在线学习算法的思想实现了对光滑目标、非光滑一般情况和随机优化的加速收敛。实证分析表明了本方法在上述场景中的适用性并证实了我们的理论发现。

    Sep, 2018

  • 面向噪声自适应、问题自适应（加速）随机梯度下降

    通过利用指数步长和随机线性搜索等技术，使得随机梯度下降算法适应不同噪声水平和问题相关的常数，可以在强凸函数的条件下，取得与理论最优相近的收敛速度，同时能够有效地处理噪声和数据不凸的情况。

    Oct, 2021

  • 免调节的随机优化

    大规模机器学习问题中，通过松散提示参数信息，提出了能够自动调整的 “无需调参” 的算法，能够与最优调参优化算法在多对数因子上实现性能匹配，特别是对于有界优化领域，证明了这种匹配是可能的，并且多个现有算法已经实现了该特性。然而，在无界领域中，证明了无需调参优化是不可能的，但在噪声分布足够良好的情况下，通过一些算法如 DoG 和 DoWG，可以满足无需调参的条件。对于查找光滑且可能非凸函数的稳定点，提出了一种改进的随机梯度下降（SGD）变体，以仅有多对数成本匹配调参 SGD 的最佳已知高概率收敛率，然而，也证明了任何算法都不可能满足与调参 SGD 高概率收敛率相匹配的最优期望收敛率。

    Feb, 2024

  • 随机优化的随机平滑化

    本文研究了随机优化程序在非光滑凸优化问题中的收敛速度，与加速梯度方法相结合的随机平滑技术获得了期望和高概率的收敛速度，具有梯度估计方差的最优依赖性，这是首个针对非光滑优化问题的这种速率。作者给出了几个关于统计估计问题的应用，并提供了实验结果来证明所提算法的有效性。作者还描述了如何将他们的算法与最近研究的分布式优化结合起来，得到一个最优秩序的分布式随机优化算法。

    Mar, 2011

  • 深度学习的鲁棒自适应随机梯度方法

    本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

    Mar, 2017