套索问题与唯一性
研究证明,对于一个标准的随机设计模型,在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。
Nov, 2018
本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质,特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现,包括一些适用于固定设计的条件以及一些收敛性的结果。最后,文章通过天体物理学中相邻频率的检测问题进行了结果论证。
Jun, 2008
研究了具有 Lipschitz 损失函数的高维广义线性模型,并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数,在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。
Apr, 2008
本文证明了 Lasso 的鲁棒性质,并将其与物理属性,即对噪声的保护,联系起来。通过考虑不同的不确定性集合,可以得出 Lasso 的一般化形式并获得凸优化问题。同时,通过鲁棒性质可以解释为何 Lasso 解是稀疏的,并且与标准稀疏结果不同。最后,证明了稀疏性和算法稳定性是相互矛盾的,因此 Lasso 是不稳定的。
Nov, 2008
本文针对相关设计变量的稀疏 Riesz 条件,研究 LASSO 在模型选择中的速率一致性,并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。
Aug, 2008
本文研究了基于 lasso 惩罚的回归问题,并提出了两个非常快的算法来估计回归系数,其中一个算法基于循环坐标下降,而另一个基于贪心坐标下降和 Edgeworth 的算法。此外,如果对参数进行分组并对每个组进行惩罚,则可以将现有算法扩展到新领域。
Mar, 2008
本文研究了 Lasso 等凸估计量的性能,介绍了两个量,噪声障碍和大规模偏差,并证明了兼容性条件是实现快速预测速率所必需的。同时,该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式,包括凸惩罚项等等,并展示了调优参数与 Lasso 的相互关系。
Apr, 2018
本文研究了使用组套 Lasso 进行带有正则化的最小二乘回归问题的渐近一致性和多核学习的无限维情况下的一致性性质,并提出了自适应方案以获得一致的模型估计。
Jul, 2007
本研究通过 Stein 无偏风险估计(SURE)来探究 lasso 的有效自由度,结果表明非零系数的数量是 lasso 的自由度的无偏估计量之一,不需要特殊的预测假设,并且该无偏估计量被证明是渐近一致的。结合 C_p、AIC 和 BIC 等多种模型选择标准以及 LARS 算法,可以高效地获得最佳的 lasso 拟合,计算成本与单个普通最小二乘拟合相当。
Dec, 2007