Feb, 2014

Lasso 方法的预测表现

PDF
TL;DR本文通过对多元线性回归的研究，提出了一种简单的相关度量方法，将其结合到 Lasso 模型的参数调整中，从而使得在高度相关的协变量情况下，Lasso 模型的预测性能接近最优，但在中度相关的情况下，无论调整参数如何，预测性能都会比较平庸。此外，本文研究结果也为带有总变差惩罚项的最小二乘估计提供了近似最优的速率。
发现论文，激发创造
  • 预测套索

    本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。

    Sep, 2010

  • 带潜变量的套索：高效估计、协变量缩放和计算统计差距

    稀疏线性回归中的相关性以及智能缩放解决方案

    Feb, 2024

  • Lasso 和其他凸估计器的噪声屏障和大信号偏差

    本文研究了 Lasso 等凸估计量的性能，介绍了两个量，噪声障碍和大规模偏差，并证明了兼容性条件是实现快速预测速率所必需的。同时，该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式，包括凸惩罚项等等，并展示了调优参数与 Lasso 的相互关系。

    Apr, 2018

  • Lasso 方法下的高维图表与变量筛选

    该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

    Aug, 2006

  • 一种可靠且高效的 Lasso 调参方案与优化保障算法

    介绍了一种新颖的方案，用于在具有 Lasso 的高维线性回归中选择正则化参数，该方案受非参数回归中带宽选择的 Lepski 方法的启发，具有最佳的有限样本保证和快速算法。

    Oct, 2014

  • 部分标记的情况下 Lasso 预测误差

    研究了 Lasso 估计器在事实和半监督学习的风险界限，提出了新的适应 lasso 到有限的响应变量和有限的高维协变量的设置，并建立了期望和差异的 oracle 不等式。

    Jun, 2016

  • 回归中的相关变量：聚类与稀疏估计

    利用基于规范相关的层次聚类算法，针对强相关的高维线性模型提出了一种首先聚类变量然后进行稀疏估计的方法，其中对聚类代表采用 Lasso 算法或结构基于聚类的组 Lasso 算法进行后续稀疏估计，并给出理论分析和实验证明了该方法的优越性。

    Sep, 2012

  • 套索法的 “自由度

    本研究通过 Stein 无偏风险估计（SURE）来探究 lasso 的有效自由度，结果表明非零系数的数量是 lasso 的自由度的无偏估计量之一，不需要特殊的预测假设，并且该无偏估计量被证明是渐近一致的。结合 C_p、AIC 和 BIC 等多种模型选择标准以及 LARS 算法，可以高效地获得最佳的 lasso 拟合，计算成本与单个普通最小二乘拟合相当。

    Dec, 2007

  • 高维线性回归中套索选择的稀疏性和偏差

    本文针对相关设计变量的稀疏 Riesz 条件，研究 LASSO 在模型选择中的速率一致性，并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。

    Aug, 2008

  • Lasso 惩罚回归的坐标下降算法

    本文研究了基于 lasso 惩罚的回归问题，并提出了两个非常快的算法来估计回归系数，其中一个算法基于循环坐标下降，而另一个基于贪心坐标下降和 Edgeworth 的算法。此外，如果对参数进行分组并对每个组进行惩罚，则可以将现有算法扩展到新领域。

    Mar, 2008