高维变量选择和统计估计的阈值套索方法
研究了在包含噪声的观测中一直稀疏模式的一致估计问题,分析了 Lasso 去恢复稀疏模式的行为, 并根据高斯集合的相互不相关性条件建立了问题维数、非零元素数量和观测数之间的关系,并通过计算明确了阈值,确定了可靠恢复稀疏模式所需的观测数的下限和上限,从而解决了该问题。
May, 2006
本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质,特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现,包括一些适用于固定设计的条件以及一些收敛性的结果。最后,文章通过天体物理学中相邻频率的检测问题进行了结果论证。
Jun, 2008
针对高维线性回归模型的参数拟合问题,考虑基于 Lasso 惩罚的最小二乘估计器的置信区间和 p 值的构造及去偏的版本,进一步在随机设计模型的情形下进行研究,并提出了更优的平均检测功率的分析结果。
Nov, 2013
研究证明,对于一个标准的随机设计模型,在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。
Nov, 2018
本文针对相关设计变量的稀疏 Riesz 条件,研究 LASSO 在模型选择中的速率一致性,并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。
Aug, 2008
本文研究了 Lasso 等凸估计量的性能,介绍了两个量,噪声障碍和大规模偏差,并证明了兼容性条件是实现快速预测速率所必需的。同时,该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式,包括凸惩罚项等等,并展示了调优参数与 Lasso 的相互关系。
Apr, 2018
本文研究使用自适应 Lasso 和阈值 Lasso 结合重设计方法在高维线性模型中预测误差、Lq 误差(q∈{1,2})、假阳性选择次数等方面的性能,并发现两种方法的差异在于受限和稀疏特征值,支持阈值 Lasso 优于自适应 Lasso。此外,两种阶段的方法对于一阶段 Lasso 的补充与增值相似,只是在适当的受限和稀疏特征值条件下,它们具有类似于一阶段 Lasso 的预测和估计误差,但假阳性显著更少。
Jan, 2010
本文研究多元回归中的分组 Lasso,使用基于 L1/L2 范数的分块正则化进行支持融合恢复或恢复 B * 非零行的集合,证明了分组 Lasso 在高维缩放下对于问题序列 (n、p、s) 成功的阈值和失败的阈值,并使用模拟演示了理论结果的锐度。
Aug, 2008
该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计,实现了变量选择,并控制了图中误连接不同的连通分量的概率,最终实现了稀疏图的一致性估计。
Aug, 2006
本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中,单个回归系数的 p-value 计算问题,证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解,最后通过统计物理中的 Replica heuristics,推导出普遍高斯设计的标准分布极限。
Jan, 2013