高效连续有限和最小化
本文研究了平滑的非凸有限和优化的下界,并证明了在不同设置下找到 ε- 次优点和 ε- 近似稳定点的复杂度的严格下界,以及一些现有算法的最佳增量一阶预测器(IFO)复杂度。
Jan, 2019
本文提出了优化 n 个 L-smooth、强凸函数总和的下界,并将其与先前的方法进行比较。在随机数据情况下,我们将这些复杂度结果与用于直接优化总和的最优一阶方法进行对比。研究发现需要谨慎进行准确比较,并确定新方法在机器学习场景中的帮助计算能力。
Oct, 2014
开发了基于 Stochastically Controlled Stochastic Gradient Method 的算法,可用于非凸的有限和优化问题,并取得了优于随机梯度下降的表现。在满足 Polyak-Lojasiewicz Condition 约束的函数中,同样实现了加速优化,实验表明在训练多层神经网络方面,该方法优于随机梯度下降。
Jun, 2017
本文提出了针对复合目标强凸的情况下,带有方差约束的随机梯度下降法,其收敛速度优于传统的随机梯度下降法,同时常数因子也更小,只与输入数据的方差有关。
Oct, 2016
应用机器学习方法解决针对敌对鲁棒性或多主体环境产生的博弈均衡问题,提出了基于有限和结构的方法。使用方差缩减技术改进了经典的 Halpern 迭代,通过在求和中的组分算子上引入可比较的 cocoercive 或 Lipschitz 连续单调性,取得了性能改进。所提出的方法具有可验证的退出准则,并且在最后迭代次数和(可计算的)操作符范数残差方面提供了保证。其 oracle 复杂性为 $𝜃(𝑛+√𝑛𝐿𝜖^{-1})$,相较于现有方法提升了多达√𝑛倍,将方差缩减引入到通用有限和单调包含问题和具体问题中,如算子范数残差是最优性度量的凸 - 凹优化,创造了一项新的成果。进一步论证表明,在单调 Lipschitz 设置中,除去多项式对数因子,这种复杂性是无法被改进的,即提供的结果几乎是最优的。
Oct, 2023