MMAug, 2010

高斯矩阵的 LASSO 风险

PDF
TL;DR本文考虑从具有噪音的线性观测中学习系数向量 x0，通过解决 L1 惩罚的最小二乘问题，即 LASSO 或 BPDN 问题构造一种稀疏估计器 x'，对于随机矩阵序列 A，我们证明了 LASSO 的规范风险趋于极限，并获得了该极限的一个显式表达式，并进行了实际数据矩阵的模拟，表明我们的结果在广泛的实际应用中都是相关的。
sparse estimatorl1-penalized least squares problemnormalized riskasymptotic mean square erroramp
发现论文，激发创造
  • 广义 LASSO 的平方误差：精确分析

    本文研究了使用结构感知凸函数去估计稀疏信号，并提供了 LASSO 方法性能的尖锐特征化，具体表现为通过集合距离的形式来描述估算误差，该误差与信号结构和函数选择有关。

    Nov, 2013

  • 非线性观测下的广义 Lasso

    研究了非线性观测信号估计问题，当信号属于高维空间中的低维集合时，可以使用广义 Lasso 方法，针对非线性观测信号进行噪声线性观察建模，通过信号重建结构降低误差，允许信号具有不连续、多义和未知的非线性特征，并允许测量矩阵的行具有未知的协方差矩阵。

    Feb, 2015

  • 高维线性回归中套索选择的稀疏性和偏差

    本文针对相关设计变量的稀疏 Riesz 条件，研究 LASSO 在模型选择中的速率一致性，并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。

    Aug, 2008

  • Lasso 和其他凸估计器的噪声屏障和大信号偏差

    本文研究了 Lasso 等凸估计量的性能，介绍了两个量，噪声障碍和大规模偏差，并证明了兼容性条件是实现快速预测速率所必需的。同时，该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式，包括凸惩罚项等等，并展示了调优参数与 Lasso 的相互关系。

    Apr, 2018

  • Lasso 分布：稀疏球的统一控制和自适应参数调整

    研究证明，对于一个标准的随机设计模型，在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。

    Nov, 2018

  • 一种表征 LASSO 算法性能的框架

    本文研究了在噪声下求解稀疏解的欠定线性方程组问题，提出了一种有效的 LASSO 算法分析机制，并考虑了其在统计学背景下的精度。

    Mar, 2013

  • 广义去偏 Lasso 方法的稳定性及在基于重采样的变量选择中的应用

    给定的研究论文提出了适用于 Lasso 的近似公式，通过该公式可以更新去偏 Lasso 的系数。论文证明了该近似公式在具有有界条件数协方差矩阵的亚高斯型设计矩阵情况下渐进收敛，并给出了一些具体应用案例。

    May, 2024

  • 高维回归中的假设检验： 高斯随机设计模型下的渐近理论

    本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中，单个回归系数的 p-value 计算问题，证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解，最后通过统计物理中的 Replica heuristics，推导出普遍高斯设计的标准分布极限。

    Jan, 2013

  • 高维广义线性模型与套索法

    研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

    Apr, 2008

  • Lasso 方法下的高维图表与变量筛选

    该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

    Aug, 2006