Oct, 2014

一种可靠且高效的 Lasso 调参方案与优化保障算法

PDF
TL;DR介绍了一种新颖的方案，用于在具有 Lasso 的高维线性回归中选择正则化参数，该方案受非参数回归中带宽选择的 Lepski 方法的启发，具有最佳的有限样本保证和快速算法。
regularization parameterlinear regressionlassobandwidth selectionnon-parametric regression
发现论文，激发创造
  • Lasso 分布：稀疏球的统一控制和自适应参数调整

    研究证明，对于一个标准的随机设计模型，在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。

    Nov, 2018

  • Lasso 惩罚回归的坐标下降算法

    本文研究了基于 lasso 惩罚的回归问题，并提出了两个非常快的算法来估计回归系数，其中一个算法基于循环坐标下降，而另一个基于贪心坐标下降和 Edgeworth 的算法。此外，如果对参数进行分组并对每个组进行惩罚，则可以将现有算法扩展到新领域。

    Mar, 2008

  • Lasso 和其他凸估计器的噪声屏障和大信号偏差

    本文研究了 Lasso 等凸估计量的性能，介绍了两个量，噪声障碍和大规模偏差，并证明了兼容性条件是实现快速预测速率所必需的。同时，该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式，包括凸惩罚项等等，并展示了调优参数与 Lasso 的相互关系。

    Apr, 2018

  • 高维广义线性模型与套索法

    研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

    Apr, 2008

  • Lasso 方法的预测表现

    本文通过对多元线性回归的研究，提出了一种简单的相关度量方法，将其结合到 Lasso 模型的参数调整中，从而使得在高度相关的协变量情况下，Lasso 模型的预测性能接近最优，但在中度相关的情况下，无论调整参数如何，预测性能都会比较平庸。此外，本文研究结果也为带有总变差惩罚项的最小二乘估计提供了近似最优的速率。

    Feb, 2014

  • 拟合受限 Lasso 的算法

    本研究比较了在求解有约束的 Lasso 问题中的几种不同的计算策略（包括二次规划、交替方向乘子法、以及一种高效的求解路径算法）。在通过模拟和真实数据示例的比较之后，提出了适用于不同数据规模下的实际建议，同时也发现一般化 Lasso 可以转化为有约束的 Lasso 问题，但反之则不成立。因此，该研究的方法也可以用于估计具有广泛应用的一般化 Lasso。

    Oct, 2016

  • Lasso 正则化路径的复杂度分析

    本文介绍了 Lasso 正则化路径分析的方法和优化算法，分析了其最坏情况下的复杂性和近似分析，并提供了一个实用的算法来计算这些近似路径。

    May, 2012

  • Lasso 和 Dantzig Selector 的同步分析

    我们展示了 Lasso 估计器和 Dantzig 选择器间的近似等价性，并为两种方法推导出一般非参数回归模型中预测风险的并行 Oracle 不等式，以及在线性模型中在 1≤p≤2 的 l_p 估计损失的界限，当变量数量可以远大于样本容量时。

    Jan, 2008

  • 高维回归假设检验的几乎最优样本大小

    针对高维线性回归模型的参数拟合问题，考虑基于 Lasso 惩罚的最小二乘估计器的置信区间和 p 值的构造及去偏的版本，进一步在随机设计模型的情形下进行研究，并提出了更优的平均检测功率的分析结果。

    Nov, 2013

  • Bolasso: 通过自助法实现模型一致的 Lasso 估计

    本文考虑了最小二乘线性回归问题，通过 L1 范数进行正则化。通过详细的渐近分析，计算了正确的模型选择（即变量选择）的概率的渐近等价。提出了一种名为 Bolasso 的变量选择算法，并在合成数据和 UCI 机器学习仓库中的数据集上进行了比较。

    Apr, 2008