Feb, 2019

稀疏回归：可扩展的算法和实证表现

PDF
TL;DR本文回顾了特征选择领域内应用最广的方法，重点关注其精度和误检探测率随着样本数量增加的表现，并对比了常用的 Lasso 正则化方法以外，不太为人所知的非凸罚函数方法。通过实证分析，我们发现整数规划方案及其布尔松弛具有更优的性能表现，但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素，本文揭示了一些不同的特征选择方案，为相关领域的研究提供了参考依据。
feature selectionsparsityaccuracyfalse detectionlasso-regularization
发现论文，激发创造
  • 二值随机过滤器：特征选择及其它

    本研究提出了一种利用稀疏正则化方法进行特征选择的神经网络扩展方法，比传统方法更为高效且可用于任何现有结构，同时能够直接应用于神经元修剪和光谱数据的重要区域选择。

    Jul, 2020

  • 稀疏线性回归的特征自适应

    本文研究高维统计中的稀疏线性回归问题，特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法，提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进，以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。

    May, 2023

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011

  • 非参数稀疏性和正则化

    研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

    Aug, 2012

  • 基于凸优化的结构稀疏化

    本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

    Sep, 2011

  • 一种统一的动态方法用于稀疏模型选择

    本文提出一种简单的迭代正则化路径方法，通过稀疏 Mirror Descent 算法或带有非线性损失的 Linearized Bregman 迭代的动态，在 Restricted Strong Convexity (RSC) 和 Irrepresentable Condition (IRR) 的限制下，以达到不出错的子空间为首要目标，运用于稀疏逻辑回归和 Ising 模型的 NIPS 合著问题上，其性能与 glment 相当，进一步减小了偏差。

    Oct, 2018

  • 具有可证明保证的 Ridge 回归特征选择

    提出了一种基于单个集合的谱稀疏化和杠杆分数采样的特征选择方法，用于分类问题和岭回归问题，并在固定设计的情况下，给出了两种方法的风险边界和实验结果，表明所提出的方法比现有的特征选择方法表现更好。

    Jun, 2015

  • 高维数据的稀疏表示 Lasso 型恢复

    本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质，特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现，包括一些适用于固定设计的条件以及一些收敛性的结果。最后，文章通过天体物理学中相邻频率的检测问题进行了结果论证。

    Jun, 2008

  • Lasso 方法下的高维图表与变量筛选

    该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

    Aug, 2006

  • 稀疏 SVM 排序中的非凸正则化特征选择

    探究如何在学习排名中将特征选择集成入学习过程中，并且提出了一种使用 SVM 和稀疏正则化术语进行特征选择的通用框架。

    Jul, 2015