Bolasso: 通过自助法实现模型一致的 Lasso 估计

Apr, 2008

Bolasso: 通过自助法实现模型一致的 Lasso 估计

Bolasso: model consistent Lasso estimation through the bootstrap

Francis Bach

TL;DR本文考虑了最小二乘线性回归问题，通过 L1 范数进行正则化。通过详细的渐近分析，计算了正确的模型选择（即变量选择）的概率的渐近等价。提出了一种名为 Bolasso 的变量选择算法，并在合成数据和 UCI 机器学习仓库中的数据集上进行了比较。

Abstract

We consider the least-square linear regression problem with regularization by the l1-norm, a problem usually referred to as the Lasso. In this paper, we present a detailed →

least-square linear regression regularization asymptotic analysis variable selection bolasso

发现论文，激发创造

高维线性回归中套索选择的稀疏性和偏差

本文针对相关设计变量的稀疏 Riesz 条件，研究 LASSO 在模型选择中的速率一致性，并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。

Aug, 2008

群 Lasso 和多核学习的一致性

本文研究了使用组套 Lasso 进行带有正则化的最小二乘回归问题的渐近一致性和多核学习的无限维情况下的一致性性质，并提出了自适应方案以获得一致的模型估计。

Jul, 2007

稳健回归和 Lasso

本文证明了 Lasso 的鲁棒性质，并将其与物理属性，即对噪声的保护，联系起来。通过考虑不同的不确定性集合，可以得出 Lasso 的一般化形式并获得凸优化问题。同时，通过鲁棒性质可以解释为何 Lasso 解是稀疏的，并且与标准稀疏结果不同。最后，证明了稀疏性和算法稳定性是相互矛盾的，因此 Lasso 是不稳定的。

Nov, 2008

Lasso 分布：稀疏球的统一控制和自适应参数调整

研究证明，对于一个标准的随机设计模型，在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。

Nov, 2018

高维数据的稀疏表示 Lasso 型恢复

本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质，特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现，包括一些适用于固定设计的条件以及一些收敛性的结果。最后，文章通过天体物理学中相邻频率的检测问题进行了结果论证。

Jun, 2008

Lasso 方法下的高维图表与变量筛选

该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

Aug, 2006

预测套索

本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。