分段线性规则化解路径
本文提出了一种计算广义套索问题路径的基于对偶问题的算法,能够解决广泛的应用场景,并通过对 $I$ 的情况,与 LARS 算法建立联系,并导出了广义套索拟合的自由度的无偏估计,该估计在很多应用中都非常直观。
May, 2010
本文考虑正则化回归问题,其中先验正则化器是一个凸函数并对于黎曼子流形是部分光滑的,我们研究了任何正则化最小化器对观察值微小扰动的敏感性,并提供了其精确的本地参数化。我们的主要敏感性分析结果表明,在观测变化微小地情况下,预测变化在同一活动子流形上局部稳定。
Apr, 2014
研究了具有 Lipschitz 损失函数的高维广义线性模型,并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数,在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。
Apr, 2008
本文介绍了 “逐一” 坐标下降算法及其在 $ L_1 $- 惩罚回归(套索)、garotte 和弹性网络等相关方法中的应用,证明了该算法可以与广泛应用的 LARS(或同伦)过程竞争,在大规模 lasso 问题中引起了不少关注。但注意到它并不适用于 “融合 Lasso”,所以论文提出了一个广义算法,在比标准的凸优化器运行时间更短的时间内得出了解决方案。最后,将该过程推广到二维融合 Lasso,并展示了其在一些图像平滑问题上的性能。
Aug, 2007
本文研究了基于 lasso 惩罚的回归问题,并提出了两个非常快的算法来估计回归系数,其中一个算法基于循环坐标下降,而另一个基于贪心坐标下降和 Edgeworth 的算法。此外,如果对参数进行分组并对每个组进行惩罚,则可以将现有算法扩展到新领域。
Mar, 2008
提出了一种近似正则化路径追踪方法,用于求解许多具有非凸问题求解的学习问题,该算法迭代复杂度与全正则化路径相同,可以同时提供统计和计算收敛率的显式表达式,并可以实现全局几何收敛,以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。
Jun, 2013
本研究探讨了线性回归中带有 L2 正则化的问题,每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数,通过计算交叉验证准则相对于正则化超参数的梯度,使用矩阵微分学进行解析计算。此外,我们引入了两种针对稀疏模型学习问题的策略,旨在减少过度拟合验证数据的风险。数值示例表明,我们的多超参数正则化方法胜过 LASSO、Ridge 和 Elastic Net 回归。此外,与自动微分相比,梯度的解析计算在计算时间方面更加高效,特别是在处理大量输入变量时。还介绍了应用于过参数化线性参数变化模型的情况。
Nov, 2023
本文主要研究了 Lasso 方法在稀疏线性回归中的应用,重点探讨了 Lasso 解唯一性和非唯一性可能的原因和处理方法,利用线性规划方法计算给定问题实例的解不确定性,总结了有区别的解的特点和相关研究成果。
Jun, 2012
介绍了一种新颖的方案,用于在具有 Lasso 的高维线性回归中选择正则化参数,该方案受非参数回归中带宽选择的 Lepski 方法的启发,具有最佳的有限样本保证和快速算法。
Oct, 2014