Jul, 2015

随机无导数优化噪声凸函数

PDF
TL;DRSTARS 是一种基于随机化的无导数优化算法，适用于函数评估受到随机噪声干扰的情况。该算法通过动态噪声自适应平滑步长来最小化真实方向导数与其有限差分估计之间的最小二乘误差，并提供了用于求解具有加性或乘性噪声的凸问题收敛速率分析。实验结果显示，STARS 相对于不同级别随机噪声表现出的噪声不变行为；在解决加性和乘性噪声函数方面，其实际性能在解决方案精度和收敛速度方面显著优于理论结果，并且 STARS 在随机零阶方法的选择上表现出卓越优势。
starsrandomized algorithmderivative-freeoptimizationnoise-contaminated function
发现论文，激发创造
  • 一种用于无导数平滑随机凸优化的加速方法

    本文研究优化问题中目标函数存在不确定的噪声干扰，提出了基于导数的无导数算法，考虑了稀疏向量情况下使用 1 范数正则化的优化模型。

    Feb, 2018

  • 优化星型凸函数

    该论文介绍了一种多项式时间算法，用于优化无限制的星凸函数，提出了一个随机化算法找到可行域的割面，并强调了该算法的理论吸引力，即在多项式时间算法的范围内引入很多有趣的病态类。

    Nov, 2015

  • 基于拟牛顿方法的无导数优化噪声函数

    本文介绍了一种有限差分拟牛顿法，该方法利用 BFGS 更新的可伸缩性和能力，采用自适应程序选择基于 Hamming（2012）和 Moré 和 Wild（2011）的噪声估计技术的差分间隔 h。该算法包含恢复机制，以防止线性搜索过程无法产生可接受点的情况。通过数值实验将该方法与函数插值信任域方法进行了比较，同时还提出了一种考虑噪声线性搜索过程效应的新型收敛分析。

    Mar, 2018

  • 噪声无导数优化的动态各向异性平滑

    提出了一种创新算法，通过考虑目标函数的异质曲率，将球面平滑和高斯平滑方法扩展到噪声无导数优化中，动态调整平滑核的形状以逼近局部最优点周围的海森矩阵，从而通过采样大大减小了噪声评估中梯度估计的误差。通过对人工问题的数值实验展示了该方法的有效性，并展示了与现有的最先进启发式无导数和贝叶斯优化方法相比，在调整 NP - 难组合优化求解器时的改进性能。

    May, 2024

  • 一种普适最优的多阶段加速随机梯度方法

    研究如何在存在梯度估计噪声的情况下，通过使用多阶段加速算法，探讨最小化强凸光滑函数的问题，并通过采用特定的重启和参数选择，实现在确定性和随机情况下的最佳速率，以及在不知道噪声特性的情况下操作。

    Jan, 2019

  • 最小化星凸函数及其近似最优方法

    本文提出了近乎最优的加速一阶方法，以最小化一类广泛的平滑非凸函数，这些函数在经过极小值点的所有线上都是严格单峰的，并给出了相应的理论分析。

    Jun, 2019

  • 加速无需参数的随机优化

    提出一种方法，在光滑随机凸优化中实现接近最优的速率，几乎不需要先验问题参数知识，通过结合 UniXGrad 和 DoG，使用新的迭代稳定技术，在仅具有对 d0 和噪声大小的粗略上界的情况下，提供了对于子高斯噪声的高概率保证，并且在非光滑的情况下也接近最优。在凸问题上表现出一致且强大的性能，在神经网络训练上的结果有所不同。

    Mar, 2024

  • 一种强凸函数的鲁棒加速优化算法

    本文提出了一种加速的一阶优化算法 —— 鲁棒动量法，可用于优化平滑强凸函数。该算法有一种参数可以调节对梯度噪声的稳健性与最差情况下的收敛速度之间的平衡。算法具有简单的解析形式，并通过在干净和梯度噪声情况下的一系列数值模拟进行了验证。

    Oct, 2017

  • 随机偏差减小梯度法

    本文提出一种新的随机优化原理，即使用 Blanchet 和 Glynn 的多级 Monte-Carlo 方法将任何最优随机梯度方法转换为 $x_*$ 的估计量，以此为基础获得了一种廉价且几乎无偏差的梯度估计器，可以应用于随机优化的多个领域，如随机优化，概率图形模型推理以及优化的机器学习等。

    Jun, 2021

  • 噪声凸型零阶优化的简化改进算法

    通过噪声、凸性和零阶优化等概念，研究在有界凸集合中的一类函数的优化问题，我们提出了一个基于质心方法的改进算法，证明其相对于最小值的差距的阶数小于 d^2/√n，且比现有文献中已知的 d^{2.5}/√n 的速度更快，并且更简化。

    Jun, 2024