套索路径上早期发生错误的发现
本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质,特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现,包括一些适用于固定设计的条件以及一些收敛性的结果。最后,文章通过天体物理学中相邻频率的检测问题进行了结果论证。
Jun, 2008
本文回顾了特征选择领域内应用最广的方法,重点关注其精度和误检探测率随着样本数量增加的表现,并对比了常用的 Lasso 正则化方法以外,不太为人所知的非凸罚函数方法。通过实证分析,我们发现整数规划方案及其布尔松弛具有更优的性能表现,但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素,本文揭示了一些不同的特征选择方案,为相关领域的研究提供了参考依据。
Feb, 2019
该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计,实现了变量选择,并控制了图中误连接不同的连通分量的概率,最终实现了稀疏图的一致性估计。
Aug, 2006
本文针对相关设计变量的稀疏 Riesz 条件,研究 LASSO 在模型选择中的速率一致性,并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。
Aug, 2008
本文研究了 Lasso 等凸估计量的性能,介绍了两个量,噪声障碍和大规模偏差,并证明了兼容性条件是实现快速预测速率所必需的。同时,该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式,包括凸惩罚项等等,并展示了调优参数与 Lasso 的相互关系。
Apr, 2018
本文通过对多元线性回归的研究,提出了一种简单的相关度量方法,将其结合到 Lasso 模型的参数调整中,从而使得在高度相关的协变量情况下,Lasso 模型的预测性能接近最优,但在中度相关的情况下,无论调整参数如何,预测性能都会比较平庸。此外,本文研究结果也为带有总变差惩罚项的最小二乘估计提供了近似最优的速率。
Feb, 2014
研究表明,在稀疏水平的情况下,顺序回归程序中的第一个虚假变量出现得越来越早。这种反直觉的现象是独立高斯随机设计和真实效应任意大的情况下具有持久性的。通过识别其潜在原因,我们介绍了一个简单的可视化工具 - double-ranking diagram,以改进序列方法,并获得了第一个证明套索和最小角回归在正交设计之外的解决路径的早期阶段的确切等价的证明。
Aug, 2017
研究了 Lasso 估计器在事实和半监督学习的风险界限,提出了新的适应 lasso 到有限的响应变量和有限的高维协变量的设置,并建立了期望和差异的 oracle 不等式。
Jun, 2016