注意二元间隙:Lasso 的更安全规则
本研究提出了一种适用于广义线性模型的一体化框架,用标准的稀疏性惩罚(如 l1 或 l1 /l2 范数)进行正则化。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量,特别是对于低正则化参数。应用于许多标准学习任务,如 Lasso、Sparse-Group Lasso、多任务 Lasso、二进制和多项式逻辑回归等,我们报告了比以前提出的所有测试数据集上的安全规则所获得的显著加速的更好的 Gap Safe 规则。
Nov, 2016
本文提出一种基于 Dual Polytope Projections 的高效筛选规则,以找到稀疏表示中的无效预测器,以提高解决大规模 Lasso 问题的效率,并将此筛选规则扩展到组 Lasso 中以识别无效组。
Nov, 2012
本文提出了一种强效的规则来舍弃 lasso 回归及相关问题中的预测变量,可以通过简单的 KKT 条件检查来提供安全规则,从而在各种统计凸优化问题中提供实质性的速度和空间节省。
Nov, 2010
本文介绍了一种名为 “Sasvi” 的方法,它基于变分不等式提供了更强的安全筛选规则,可用于稀疏学习模型的特征选择和计算效率优化。实验结果表明,Sasvi 对 Lasso 筛选具有很强的可靠性和有效性。
Jul, 2013
本文提出了一种用于高维数据稀疏逻辑回归分类和特征选择的快速和有效的稀疏逻辑回归筛选规则(Slores),能够在解决稀疏逻辑回归问题的计算成本基础上实现数据集的一次扫描获得 0 组件,未来可与任何现有的稀疏逻辑回归引擎集成以提高效率。
Jul, 2013
我们展示了 Lasso 估计器和 Dantzig 选择器间的近似等价性,并为两种方法推导出一般非参数回归模型中预测风险的并行 Oracle 不等式,以及在线性模型中在 1≤p≤2 的 l_p 估计损失的界限,当变量数量可以远大于样本容量时。
Jan, 2008