ICMLMay, 2024

噪声无导数优化的动态各向异性平滑

PDF
TL;DR提出了一种创新算法，通过考虑目标函数的异质曲率，将球面平滑和高斯平滑方法扩展到噪声无导数优化中，动态调整平滑核的形状以逼近局部最优点周围的海森矩阵，从而通过采样大大减小了噪声评估中梯度估计的误差。通过对人工问题的数值实验展示了该方法的有效性，并展示了与现有的最先进启发式无导数和贝叶斯优化方法相比，在调整 NP - 难组合优化求解器时的改进性能。
发现论文，激发创造
  • 无导数优化中梯度逼近的理论和实证比较

    本文分析了多个仅基于函数值的逼近噪声函数梯度的方法，包括有限差分、线性插值、高斯平滑和球面平滑等，并给出了收敛性保证和数值结果以及应用于无导数优化算法的表现。

    May, 2019

  • 一种用于无导数平滑随机凸优化的加速方法

    本文研究优化问题中目标函数存在不确定的噪声干扰，提出了基于导数的无导数算法，考虑了稀疏向量情况下使用 1 范数正则化的优化模型。

    Feb, 2018

  • 基于拟牛顿方法的无导数优化噪声函数

    本文介绍了一种有限差分拟牛顿法，该方法利用 BFGS 更新的可伸缩性和能力，采用自适应程序选择基于 Hamming（2012）和 Moré 和 Wild（2011）的噪声估计技术的差分间隔 h。该算法包含恢复机制，以防止线性搜索过程无法产生可接受点的情况。通过数值实验将该方法与函数插值信任域方法进行了比较，同时还提出了一种考虑噪声线性搜索过程效应的新型收敛分析。

    Mar, 2018

  • 大规模优化的随机拟牛顿法

    本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。

    Jan, 2014

  • 随机无导数优化噪声凸函数

    STARS 是一种基于随机化的无导数优化算法，适用于函数评估受到随机噪声干扰的情况。该算法通过动态噪声自适应平滑步长来最小化真实方向导数与其有限差分估计之间的最小二乘误差，并提供了用于求解具有加性或乘性噪声的凸问题收敛速率分析。实验结果显示，STARS 相对于不同级别随机噪声表现出的噪声不变行为；在解决加性和乘性噪声函数方面，其实际性能在解决方案精度和收敛速度方面显著优于理论结果，并且 STARS 在随机零阶方法的选择上表现出卓越优势。

    Jul, 2015

  • 通过方差减少方法的随机零阶优化

    本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

    May, 2018

  • 随机优化的随机平滑化

    本文研究了随机优化程序在非光滑凸优化问题中的收敛速度，与加速梯度方法相结合的随机平滑技术获得了期望和高概率的收敛速度，具有梯度估计方差的最优依赖性，这是首个针对非光滑优化问题的这种速率。作者给出了几个关于统计估计问题的应用，并提供了实验结果来证明所提算法的有效性。作者还描述了如何将他们的算法与最近研究的分布式优化结合起来，得到一个最优秩序的分布式随机优化算法。

    Mar, 2011

  • 深度学习的鲁棒自适应随机梯度方法

    本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

    Mar, 2017

  • 基于各向异性随机平滑的认证对抗性鲁棒性

    本研究提出了基于像素噪声分布和卷积神经网络生成器的各向异性随机光滑方法，以确保可证明鲁棒性保证，并取得了显著的性能优于现有随机平滑方法的实验结果。

    Jul, 2022

  • 一种强凸函数的鲁棒加速优化算法

    本文提出了一种加速的一阶优化算法 —— 鲁棒动量法，可用于优化平滑强凸函数。该算法有一种参数可以调节对梯度噪声的稳健性与最差情况下的收敛速度之间的平衡。算法具有简单的解析形式，并通过在干净和梯度噪声情况下的一系列数值模拟进行了验证。

    Oct, 2017