本研究提出了一种适用于广义线性模型的一体化框架,用标准的稀疏性惩罚(如 l1 或 l1 /l2 范数)进行正则化。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量,特别是对于低正则化参数。应用于许多标准学习任务,如 Lasso、Sparse-Group Lasso、多任务 Lasso、二进制和多项式逻辑回归等,我们报告了比以前提出的所有测试数据集上的安全规则所获得的显著加速的更好的 Gap Safe 规则。
Nov, 2016
该研究提出了一种新的 Lasso 问题筛选规则,其通过建立安全测试区域来快速排除不相关变量,有效提高了算法的效率和准确性。
May, 2015
本文提出了一种用于高维数据稀疏逻辑回归分类和特征选择的快速和有效的稀疏逻辑回归筛选规则(Slores),能够在解决稀疏逻辑回归问题的计算成本基础上实现数据集的一次扫描获得 0 组件,未来可与任何现有的稀疏逻辑回归引擎集成以提高效率。
Jul, 2013
本文提出一种基于 Dual Polytope Projections 的高效筛选规则,以找到稀疏表示中的无效预测器,以提高解决大规模 Lasso 问题的效率,并将此筛选规则扩展到组 Lasso 中以识别无效组。
Nov, 2012
本文介绍了一种名为 “Sasvi” 的方法,它基于变分不等式提供了更强的安全筛选规则,可用于稀疏学习模型的特征选择和计算效率优化。实验结果表明,Sasvi 对 Lasso 筛选具有很强的可靠性和有效性。
本文研究了在凸损失函数和 $l_1$ 正则化惩罚下解决监督学习问题中快速消除特征的方法,该方法不是启发式的,只消除在解决学习问题后确保不存在的特征。我们的方法适用于支持向量机分类,逻辑回归和最小二乘等一类问题。我们在文本分类数据集上应用方法,观察到降维了,特别是在寻找非常稀疏的分类器时,降低了求解学习问题所需的计算工作量。这使我们可以立即扩展现有算法的范围,从而使我们能够运行以前无法处理的数据量。
Sep, 2010
调整惩罚回归模型中的正则化参数是一项昂贵的任务,需要逐个拟合多个参数。强筛选规则通过降低输入的维度大大减少了计算成本。我们对基于分组的有序 L1 惩罚估计(SLOPE)模型进行了强筛选规则的开发,适用于更广泛的基于分组的 OWL 模型,包括 OSCAR。我们在合成数据和真实数据上的实验证明,筛选规则显著加速了拟合过程。筛选规则使基于分组的 SLOPE 和稀疏分组的 SLOPE 能够应用于高维数据集,特别是在遗传学中遇到的数据集。
May, 2024
本文提出了一种强效的规则来舍弃 lasso 回归及相关问题中的预测变量,可以通过简单的 KKT 条件检查来提供安全规则,从而在各种统计凸优化问题中提供实质性的速度和空间节省。
Nov, 2010
本文介绍了一种基于数据相关性的一般化界限,适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下,都可以获得有竞争力的结果。我们界限的新特点是,它可以应用于无限维度的设置,例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。
Aug, 2011
本文提出一种简单的迭代正则化路径方法,通过稀疏 Mirror Descent 算法或带有非线性损失的 Linearized Bregman 迭代的动态,在 Restricted Strong Convexity (RSC) 和 Irrepresentable Condition (IRR) 的限制下,以达到不出错的子空间为首要目标,运用于稀疏逻辑回归和 Ising 模型的 NIPS 合著问题上,其性能与 glment 相当,进一步减小了偏差。
Oct, 2018