Lasso 正则化路径的复杂度分析
对一种正则化优化问题,引入一种求系数路径的方法及其性质,为回归和分类的 LASSO 提供了鲁棒性解决方案,同时提出了现有问题的新型算法,包括 Mammen 与 van de Geer 的局部自适应回归样条。
Aug, 2007
对机器学习中的正则化优化问题,针对单一参数模型(例如 SVM),提出了能够计算整个解路径的算法,但针对 SVM,在训练点数量较大时,其解路径的复杂度可能呈指数级增长。
Mar, 2009
本文提出了一种计算广义套索问题路径的基于对偶问题的算法,能够解决广泛的应用场景,并通过对 $I$ 的情况,与 LARS 算法建立联系,并导出了广义套索拟合的自由度的无偏估计,该估计在很多应用中都非常直观。
May, 2010
介绍了一种新颖的方案,用于在具有 Lasso 的高维线性回归中选择正则化参数,该方案受非参数回归中带宽选择的 Lepski 方法的启发,具有最佳的有限样本保证和快速算法。
Oct, 2014
我们提出了一种新颖的量子高维线性回归算法,基于经典的 LARS(最小角度回归)路径算法,通过引入量子求解子程序和近似量子最小寻找子程序,实现在目标参数变化时得到完整的正则化路径,以相对比较快的速度实现了二次加速。我们的研究还证明了 LARS 算法和我们的量子算法对误差具有鲁棒性,并给出了关于未知系数向量和近似 Lasso 解的界限。
Dec, 2023
研究了具有 Lipschitz 损失函数的高维广义线性模型,并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数,在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。
Apr, 2008
本文主要研究了 Lasso 方法在稀疏线性回归中的应用,重点探讨了 Lasso 解唯一性和非唯一性可能的原因和处理方法,利用线性规划方法计算给定问题实例的解不确定性,总结了有区别的解的特点和相关研究成果。
Jun, 2012
提出了一种近似正则化路径追踪方法,用于求解许多具有非凸问题求解的学习问题,该算法迭代复杂度与全正则化路径相同,可以同时提供统计和计算收敛率的显式表达式,并可以实现全局几何收敛,以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。
Jun, 2013
本文考虑正则化回归问题,其中先验正则化器是一个凸函数并对于黎曼子流形是部分光滑的,我们研究了任何正则化最小化器对观察值微小扰动的敏感性,并提供了其精确的本地参数化。我们的主要敏感性分析结果表明,在观测变化微小地情况下,预测变化在同一活动子流形上局部稳定。
Apr, 2014
本文探讨当解释变量存在极低相关性和相对较少的效应,以及这些效应都具有大幅度的影响力时,在一个线性稀疏的情况下,Lasso 算法无法正确找出重要变量的问题,并得出了在 Lasso 路径上假正率和假负率的渐近折衷关系。
Nov, 2015