优化有限和的下界
本文研究了平滑的非凸有限和优化的下界,并证明了在不同设置下找到 ε- 次优点和 ε- 近似稳定点的复杂度的严格下界,以及一些现有算法的最佳增量一阶预测器(IFO)复杂度。
Jan, 2019
本文探讨了一种基于函数评估的平滑函数全局最小化方法,通过使用无穷次平方平滑函数之和联合建模函数以逼近并寻找全局最小值,在时间多项式子采样的情况下,该方法的计算复杂性为 $O (n^{3.5})$,空间复杂性为 $O (n^2)$,并可以实现与全局最优解的收敛速度为 $O (n^{-m/d + 1/2 + 3/d})$,尤其适用于具有大量导数的函数,且在维数为 $m$ 的情况下,全局最优解的收敛速度不会受到 “维度诅咒” 的影响,而仅受到最坏情况下的特定常数影响。
Dec, 2020
本文研究非凸强凹(NC-SC)平滑极小值问题的近似稳定点的复杂度,在一般和平均平滑有限和设置中建立了非平凡的较低复杂度下界。我们提出了一种通用的加速方案,使用现有的基于梯度的方法来解决一系列的精心制作的强凸 - 强凹子问题,进而缩小了复杂度差距,尤其是在一般情况下,我们提出的算法的复杂度几乎与下界相当。
Mar, 2021
应用机器学习方法解决针对敌对鲁棒性或多主体环境产生的博弈均衡问题,提出了基于有限和结构的方法。使用方差缩减技术改进了经典的 Halpern 迭代,通过在求和中的组分算子上引入可比较的 cocoercive 或 Lipschitz 连续单调性,取得了性能改进。所提出的方法具有可验证的退出准则,并且在最后迭代次数和(可计算的)操作符范数残差方面提供了保证。其 oracle 复杂性为 $𝜃(𝑛+√𝑛𝐿𝜖^{-1})$,相较于现有方法提升了多达√𝑛倍,将方差缩减引入到通用有限和单调包含问题和具体问题中,如算子范数残差是最优性度量的凸 - 凹优化,创造了一项新的成果。进一步论证表明,在单调 Lipschitz 设置中,除去多项式对数因子,这种复杂性是无法被改进的,即提供的结果几乎是最优的。
Oct, 2023
使用随机梯度下降来最小化 Lipschitz 函数和强凸函数但不一定可微的问题,证明了在 T 步随机梯度下降后,最终迭代的误差高概率为 O (log (T)/T);同时构造了一个函数,证明了在确定性梯度下降中,最终迭代的误差为 Ω(log (T)/T);然后证明了在采用后缀平均法的情形下,它的高概率误差界是优化函数相关类别中的最优界(O (1/T));最后证明了对于 Lipschitz 和凸函数 class,使用随机梯度下降解决此问题后,最终迭代的误差高概率为 O (log (T)/sqrt (T))
Dec, 2018