最小二乘规则化的零范数解析及其全局极小值的唯一性
本文针对两个广泛使用的最小化问题:凸函数最小化问题和加上核范数的凸函数最小化问题,提出使用低秩分解和替代核范数的方法来加速求解问题,并证明其可以在全局范围内找到最优解。
Nov, 2016
研究针对线性回归、低秩逼近和规范相关分析的正规化变体的矩阵草图方法,主要关注能够保留规范问题目标函数值的草图技术,为 ridge regularization 在这些问题上展示了算法资源界限,其中统计维度总是小于秩,并随着规范化程度的增加而减少
Nov, 2016
本文提供了关于正则化 M - 估计器局部最优解的新理论结果,覆盖了许多感兴趣的非凸目标函数,包括误差 - 变量线性模型的校正套索方法,具有非凸罚项的广义线性模型回归,以及高维图模型估计,我们提供了误差的上限,证明了我们的理论结果,同时提出了一种简单的修改方法,使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解,这是任何一阶方法可能达到的最快速度。
May, 2013
本文通过研究规则化问题,得出了估计误差率的界限,并扩展了 LASSO、SLOPE 和迹范数规则化的已知估计,为学习问题和规则化问题的分析提供了一个共同的框架,特别是在规则化中,各种稀疏概念的作用以及它们与真实最小化器附近的 Ψ 的亚微分的大小的联系方面。
Jan, 2016
本文研究非受限情况下的 $L_2$-$L_p$ 最小化问题,并展示了这个问题的各种吸引人的特性,同时表明 $L_q$-$L_p$ 最小化问题是强 NP 困难问题,但可以通过精心选择参数获得所需的稀疏性,这些结果为凸规则化优化问题的研究和应用提供了新的理论洞察。
May, 2011
在稀疏优化的范畴中,本文研究了在非可微目标函数上添加平滑函数的想法,特别是在 $||x||_1+1/(2\alpha)||x||_2^2$ 和 $||X||_*+1/(2\alpha)||X||_F^2$ 两种情况下,我们证明了它们可以高效地回复稀疏向量和低秩矩阵,并且具有类似于 $||x||_1$ 和 $||X||_*$ 最小化的稳定恢复保证。同时,我们还表明,对于求解 $Ax=b$ 的问题,最小化 $||x||_1+1/(2\alpha)||x||_2^2$ 的线性 Bregman 算法具有全局线性收敛性,而收敛特性不需要对 $A$ 有任何属性,这是关于一阶稀疏优化算法的全局收敛率的已知最佳结果。
Jan, 2012
本文提供了一种在模型预测问题中,最小化可微凸函数和 L1-norm 正则化器的新方法,并给出了收敛保证,通过在预测支持中使用缩减空间问题、条件判断使用不同的数值优化技术、预测支持的计算可行性条件和缩减梯度步骤以确保目标函数的足够减少,达到了较高的效率。
Feb, 2016
本文考虑正则化回归问题,其中先验正则化器是一个凸函数并对于黎曼子流形是部分光滑的,我们研究了任何正则化最小化器对观察值微小扰动的敏感性,并提供了其精确的本地参数化。我们的主要敏感性分析结果表明,在观测变化微小地情况下,预测变化在同一活动子流形上局部稳定。
Apr, 2014