优化星型凸函数
STARS 是一种基于随机化的无导数优化算法,适用于函数评估受到随机噪声干扰的情况。该算法通过动态噪声自适应平滑步长来最小化真实方向导数与其有限差分估计之间的最小二乘误差,并提供了用于求解具有加性或乘性噪声的凸问题收敛速率分析。实验结果显示,STARS 相对于不同级别随机噪声表现出的噪声不变行为;在解决加性和乘性噪声函数方面,其实际性能在解决方案精度和收敛速度方面显著优于理论结果,并且 STARS 在随机零阶方法的选择上表现出卓越优势。
Jul, 2015
我们开发了一个新的框架来研究光滑和强凸优化算法,特别是针对二次函数,我们能够将优化算法作为线性运算的递归应用程序来检查,这揭示了一种强大的联系,即一类优化算法与多项式的分析理论之间的联系,从而导出了新的下界和上界,同时我们还以多项式相关的最优解的形式表达它,从而对 Nesterov 著名的加速梯度下降方法进行了新的系统推导。
Mar, 2015
本文研究了一类名为 'quasar-convex function' 的函数,该函数在实践中证明具有类似于凸性的结构性质,并且通过比较其最优解的收敛速率得到了类似于凸函数的复杂度上界,从而表明该函数类能够实现有效的优化过程。
Oct, 2020
本文在 ACL2 (r) 平台上对 R^n 进行了形式化处理,并着重研究了凸函数的一组公理和证明,包括了一组关于引理的等价条件,并且探讨了证明工程的问题。
Oct, 2018
本文提出一族算法通过简单的随机模型样本和优化方法,成功的减少了目标函数。我们展示出,合理的近似质量和模型的正则性下,此类算法将自然的稳定度衡量推向 0,该衰减速度为 O (k^(-1/4)),基于此原理,我们为随机的近端子梯度法,近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。
Mar, 2018
本文介绍了一种新的非均匀光滑条件下的优化方法,并开发出一种简单但有效的分析技术来限制沿轨迹的梯度,从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了(随机)梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率,而不需要梯度剪裁,并允许在随机场景中的有界方差的重尾噪声。
Jun, 2023
本文提出了新的计算方法和相关计算保证,利用一阶方法来解决凸优化问题,并且引入了增长常数 G 用作计算复杂度分析。特别地,当函数 f (・) 为非光滑函数时,提供了 Subgradient Descent Method 和平滑方法的新的计算保证。当 f (・) 是光滑函数时,对重新启动加速梯度方法的方案进行了阐述。
Nov, 2015