Sep, 2010

稀疏监督学习中的安全特征消除

PDF
TL;DR本文研究了在凸损失函数和 $l_1$ 正则化惩罚下解决监督学习问题中快速消除特征的方法，该方法不是启发式的，只消除在解决学习问题后确保不存在的特征。我们的方法适用于支持向量机分类，逻辑回归和最小二乘等一类问题。我们在文本分类数据集上应用方法，观察到降维了，特别是在寻找非常稀疏的分类器时，降低了求解学习问题所需的计算工作量。这使我们可以立即扩展现有算法的范围，从而使我们能够运行以前无法处理的数据量。
发现论文，激发创造
  • 基于凸优化的结构稀疏化

    本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

    Sep, 2011

  • 稀疏多任务和多类模型的 GAP 安全筛选规则

    本文提出基于对偶间隙计算和渐近安全区域的 GAP 安全规则，可以比以往的安全规则更安全地丢弃大量变量，在众多高维回归中展现了更快的速度。

    Jun, 2015

  • 稀疏回归：可扩展的算法和实证表现

    本文回顾了特征选择领域内应用最广的方法，重点关注其精度和误检探测率随着样本数量增加的表现，并对比了常用的 Lasso 正则化方法以外，不太为人所知的非凸罚函数方法。通过实证分析，我们发现整数规划方案及其布尔松弛具有更优的性能表现，但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素，本文揭示了一些不同的特征选择方案，为相关领域的研究提供了参考依据。

    Feb, 2019

  • 稀疏约束罚函数的间隔安全筛选规则

    本研究提出了一种适用于广义线性模型的一体化框架，用标准的稀疏性惩罚（如 l1 或 l1 /l2 范数）进行正则化。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量，特别是对于低正则化参数。应用于许多标准学习任务，如 Lasso、Sparse-Group Lasso、多任务 Lasso、二进制和多项式逻辑回归等，我们报告了比以前提出的所有测试数据集上的安全规则所获得的显著加速的更好的 Gap Safe 规则。

    Nov, 2016

  • 稀疏 SVM 排序中的非凸正则化特征选择

    探究如何在学习排名中将特征选择集成入学习过程中，并且提出了一种使用 SVM 和稀疏正则化术语进行特征选择的通用框架。

    Jul, 2015

  • 稀疏线性回归的特征自适应

    本文研究高维统计中的稀疏线性回归问题，特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法，提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进，以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。

    May, 2023

  • 一项适用于稀疏逻辑回归的安全筛选规则

    本文提出了一种用于高维数据稀疏逻辑回归分类和特征选择的快速和有效的稀疏逻辑回归筛选规则（Slores），能够在解决稀疏逻辑回归问题的计算成本基础上实现数据集的一次扫描获得 0 组件，未来可与任何现有的稀疏逻辑回归引擎集成以提高效率。

    Jul, 2013

  • 具有可证明保证的线性 SVM 的特征选择

    给定线性支持向量机（SVM），提出了一种特征选择算法，以实现有监督或无监督的学习。算法能够在确定性和随机化的情况下运行，并且在特征空间中的误差得到保证，从而保证了与完整的特征空间相当的概括能力。在真实世界的数据集上的实验结果表明，该方法比之前的最佳方法更加高效。

    Jun, 2014

  • 具有可证明保证的 Ridge 回归特征选择

    提出了一种基于单个集合的谱稀疏化和杠杆分数采样的特征选择方法，用于分类问题和岭回归问题，并在固定设计的情况下，给出了两种方法的风险边界和实验结果，表明所提出的方法比现有的特征选择方法表现更好。

    Jun, 2015

  • 非参数稀疏性和正则化

    研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

    Aug, 2012