一种表征 LASSO 算法性能的框架
本文考虑从具有噪音的线性观测中学习系数向量 x0,通过解决 L1 惩罚的最小二乘问题,即 LASSO 或 BPDN 问题构造一种稀疏估计器 x',对于随机矩阵序列 A,我们证明了 LASSO 的规范风险趋于极限,并获得了该极限的一个显式表达式,并进行了实际数据矩阵的模拟,表明我们的结果在广泛的实际应用中都是相关的。
Aug, 2010
本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案,旨在从线性测量的过少的系统中重构出一个稀疏信号,考虑到受限等距假设,我们展示了有一定参数下,预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法,可以在费用与读取 poly-logarithmic 因子的数据一样的代价下,实现极小化率。除了最小化控制,我们还展示了当信噪比足够高时,算法会适应实例的困难度并产生一个与维度无关的率。实现算法的关键是一个逐渐增加的步长方案,根据对真实解的精细估计进行适应。我们通过数值实验验证了我们的发现并将我们的算法与显式 Λ1 惩罚进行了比较。从难实例到容易实例,我们看到我们的算法经历了一个相变,最终与具有真正的支持知识的最小二乘拟合器匹配。
Sep, 2019
本文研究了使用结构感知凸函数去估计稀疏信号,并提供了 LASSO 方法性能的尖锐特征化,具体表现为通过集合距离的形式来描述估算误差,该误差与信号结构和函数选择有关。
Nov, 2013
本文研究了 Lasso 等凸估计量的性能,介绍了两个量,噪声障碍和大规模偏差,并证明了兼容性条件是实现快速预测速率所必需的。同时,该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式,包括凸惩罚项等等,并展示了调优参数与 Lasso 的相互关系。
Apr, 2018
研究了在包含噪声的观测中一直稀疏模式的一致估计问题,分析了 Lasso 去恢复稀疏模式的行为, 并根据高斯集合的相互不相关性条件建立了问题维数、非零元素数量和观测数之间的关系,并通过计算明确了阈值,确定了可靠恢复稀疏模式所需的观测数的下限和上限,从而解决了该问题。
May, 2006
本文研究了基于 lasso 惩罚的回归问题,并提出了两个非常快的算法来估计回归系数,其中一个算法基于循环坐标下降,而另一个基于贪心坐标下降和 Edgeworth 的算法。此外,如果对参数进行分组并对每个组进行惩罚,则可以将现有算法扩展到新领域。
Mar, 2008
本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质,特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现,包括一些适用于固定设计的条件以及一些收敛性的结果。最后,文章通过天体物理学中相邻频率的检测问题进行了结果论证。
Jun, 2008
本研究提出了一种新的方法来证明 Group LASSO 算法在稀疏凸优化中的一些特定情况下具有 recovery guarantees,为进一步解决列子集选择问题提供了新的策略。
Jul, 2023
本文研究了基于 L1 范数的估计方法在一类带稀疏潜变量模型中的一致性问题,证明了存在变量近似线性相关的情况下这些方法会失效,而且 L1 方法在实际的基因网络中也不可靠。
Mar, 2016
通过 Thresholded Lasso 过程,对带噪声的低维数据进行精确估计,同时实现对是稀疏向量的估计和预测,这是因为该过程遵循受限特征值条件和匀致不确定性原则,简而言之,提出了使用 Lasso 方法求解线性模型上的稀疏问题的新方法,并通过模拟验证了理论分析的正确性。
Feb, 2010