Nov, 2017

独立可解释的 Lasso：用于无相关变量的稀疏回归的新型正则化方法

PDF
TL;DR本文提出了 “独立可解释 Lasso”（IILasso）方法，以压制选择相关变量，从而每个活跃变量都能独立地影响模型中的目标变量；该方法在回归系数的直观解释和避免过拟合方面都表现良好，在综合分析和数据分析中证实了 IILasso 的有效性。
sparse regularizationcorrelated variablesindependently interpretable lassooverfittingregression coefficients
发现论文，激发创造
  • 高维数据的稀疏表示 Lasso 型恢复

    本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质，特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现，包括一些适用于固定设计的条件以及一些收敛性的结果。最后，文章通过天体物理学中相邻频率的检测问题进行了结果论证。

    Jun, 2008

  • 稳健回归和 Lasso

    本文证明了 Lasso 的鲁棒性质，并将其与物理属性，即对噪声的保护，联系起来。通过考虑不同的不确定性集合，可以得出 Lasso 的一般化形式并获得凸优化问题。同时，通过鲁棒性质可以解释为何 Lasso 解是稀疏的，并且与标准稀疏结果不同。最后，证明了稀疏性和算法稳定性是相互矛盾的，因此 Lasso 是不稳定的。

    Nov, 2008

  • 回归中的相关变量：聚类与稀疏估计

    利用基于规范相关的层次聚类算法，针对强相关的高维线性模型提出了一种首先聚类变量然后进行稀疏估计的方法，其中对聚类代表采用 Lasso 算法或结构基于聚类的组 Lasso 算法进行后续稀疏估计，并给出理论分析和实验证明了该方法的优越性。

    Sep, 2012

  • Lasso 方法下的高维图表与变量筛选

    该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

    Aug, 2006

  • 预测套索

    本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。

    Sep, 2010

  • 高维回归通用不可表示条件下的模型选择

    本文研究高维回归模型中只有少量自变量起作用的情况，提出了一种双阶段方法 Gauss-Lasso，并证明在满足广义不可表现性（GIC）条件时，Gauss-Lasso 可以正确识别自变量的作用。

    May, 2013

  • 利用凸性进行稀疏线性模型的异常值鲁棒估计

    本文研究了在存在离群样本的情况下，估计稀疏回归向量的正确支持问题。我们提出了一种组合离群鲁棒 lasso 的版本，该版本还可以识别清洁样本。随后，我们使用这些干净的样本进行很好的估计。我们还为组合问题提供了新颖的 invex 松弛，并为此松弛提供了可证明的理论保证。最后，我们进行实验以验证我们的理论，并将结果与标准 lasso 进行比较。

    Jun, 2023

  • 结构化稀疏性与泛化能力

    本文介绍了一种基于数据相关性的一般化界限，适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下，都可以获得有竞争力的结果。我们界限的新特点是，它可以应用于无限维度的设置，例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。

    Aug, 2011

  • Bolasso: 通过自助法实现模型一致的 Lasso 估计

    本文考虑了最小二乘线性回归问题，通过 L1 范数进行正则化。通过详细的渐近分析，计算了正确的模型选择（即变量选择）的概率的渐近等价。提出了一种名为 Bolasso 的变量选择算法，并在合成数据和 UCI 机器学习仓库中的数据集上进行了比较。

    Apr, 2008

  • 高维线性回归中套索选择的稀疏性和偏差

    本文针对相关设计变量的稀疏 Riesz 条件，研究 LASSO 在模型选择中的速率一致性，并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。

    Aug, 2008