使用球优化 Oracle 进行加速
算法设计为在欧几里得或单纯形域内最小化 max (f_i (x)),若每个 f_i 为 1-Lipschitz 和 1 - 光滑函数,我们的方法可以在评价复杂度中找到 ε- 近似解,并具有优化性能。
Nov, 2023
本文研究了标准线性回归模型的极小极大收敛速度,证明在合适的设计矩阵正则化条件下,最小值误差在 $L_2$-,$L_{oldsymbol r}$- 损失和 $L_{oldsymbol 2}$- 预测损失内达到了收缩速度。同时,我们提供了 $L_{oldsymbol r}$- 范数的极小极大风险下限。
Oct, 2009
该研究提出了一种在 oracle 模型下,用高斯凸优化问题的 $p$ 阶 Taylor 拓展在查询点处获得的方法,可以实现任意 $p$ 阶导数为 Lipschitz 的凸函数的收敛速率 $\tilde {O}(1/k^{(3p+1)/2})$。
Dec, 2018
非凸函数的最小化,利用近似正负曲率方向步长,相对不精确度度量梯度和 Hessian 矩阵,松弛一阶和二阶精度的耦合,通过马丁格尔分析和浓度不等式得到收敛性分析,并将算法应用于经验风险最小化问题。
Oct, 2023
该研究论文证明了在高维、潜在非凸函数上找到 ε- 稳态点的复杂性下界,并探讨了基于 Oracle 算法的复杂度测量方法,显示出梯度下降、三次正则化牛顿法和广义 p 次正则化在自然函数类中是最优的。
Oct, 2017
针对非凸优化中最小最大优化问题,本研究提出了利用高效的 Hessian - 向量乘积的新型修正动量算法,建立了收敛条件并证明了所提算法的迭代复杂度为 O (ε^{-3})。通过在实际数据集上进行鲁棒的逻辑回归的应用验证了该方法的有效性。
Jun, 2024
我们通过使用第一阶 oracle 及条件数,提供了寻找 min-max 优化问题中目标函数在最小化变量上是非凸及在最大化变量上是强凸时的稳定点的复杂度的下界,这既适用于确定性 oracle 也适用于随机 oracle,并提供了各自的下界,并与其他文献的上界进行了比较。
Apr, 2021
研究基于正则化函数的凸函数估计的性质,给出 $L_2$ 估计误差速率的界限,包括 True Model 的复杂度,应用于不同的正则化函数,结果适用于学习理论框架。
Aug, 2016
通过使用只需要计算梯度的加速梯度方法,该论文提出了一种快速求解具有 Lipschitz 连续的一阶和二阶导数的非凸优化问题的算法,该方法相较于梯度下降算法在复杂度和精度上都表现更优。
Nov, 2016