Feb, 2012

特征智能核套索法进行高维特征选择

PDF
TL;DR本文介绍了一种基于 Least Absolute Shrinkage 和 Selection Operator（Lasso）的特征选择方法，通过使用核函数来捕捉非线性的输入输出关系，并采用基于核的独立度量来找到与输出值具有强统计依赖关系的非冗余特征。实验结果表明，该方法在具有数千个特征的场景下具有很好的效果。
supervised feature selectionleast absolute shrinkage and selection operatornon-linear input-output dependencykernel-based independence measureshigh-dimensional problems
发现论文，激发创造
  • 通过分层核学习进行高维非线性变量选择

    研究的主要目标是解决高维非线性变量选择的问题，提出了一种基于多核学习框架和有向无环图的核函数选择方法，能够以多项式时间选择核函数，具有高预测性能。

    Sep, 2009

  • 基于核随机特征的大规模非线性变量选择

    本文提出了一种新的非线性回归输入变量选择的方法，这种方法嵌入到一个可以模拟一般非线性函数的核回归机器中，而不是局限于加性模型。通过将输入映射到随机特征的相对低维空间中，绕过了核方法典型的低伸缩性属性。通过学习适当的非线性随机特征映射，该算法发现了与回归任务相关的变量，并学习了预测模型。我们在一组大规模合成和实际数据集上展示了我们的方法的出色性能。

    Apr, 2018

  • Lasso 方法下的高维图表与变量筛选

    该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

    Aug, 2006

  • LassoNet：一种带有特征稀疏性的神经网络

    LassoNet 是一个神经网络框架，它使用了全局特征选择。我们的方法使用了一个修改的目标函数来集成特征选择和参数学习，并且提供了正则化路径和稀疏性范围。在系统实验中，LassoNet 显著优于特征选择和回归的最新方法。

    Jul, 2019

  • 通过条件协方差最小化进行核特征选择

    提出一种基于核独立性度量的特征选择方法，通过约束优化问题中的条件协方差算子的痕迹，选择预测响应的最大子集，证明了该方法的一些一致性结果，并证明了我们的方法在各种合成和实际数据集上具有与其他最先进的算法相比的优势。

    Jul, 2017

  • 基于矩阵分解的无监督特征选择的核对齐

    通过特征选择方法，将无关和冗余特征删除，以期获得原始特征的良好表示。本文构建了一个模型，通过集成核函数和核对齐，来解决非线性结构信息的捕捉问题。此外，还提出了一种多核学习方法，通过学习线性和非线性相似性信息，并自动生成最合适的核函数。在实验中，这两种方法在聚类结果和冗余减少方面表现优于其他经典和最先进的无监督特征选择方法。

    Mar, 2024

  • 关于特征选择中核依赖最大化的限制性研究

    通过反例，我们证明了使用 Hilbert-Schmidt 独立性准则（HSIC）来进行特征选择的基本原理是错误的，而且通过 HSIC 的最大化可能会忽略掉关键特征。

    Jun, 2024

  • 具有可证明保证的 Ridge 回归特征选择

    提出了一种基于单个集合的谱稀疏化和杠杆分数采样的特征选择方法，用于分类问题和岭回归问题，并在固定设计的情况下，给出了两种方法的风险边界和实验结果，表明所提出的方法比现有的特征选择方法表现更好。

    Jun, 2015

  • 使用分层多核学习探索大型特征空间

    使用正定核函数和稀疏奖励惩罚来实现高维特征空间中的多核学习，从而在非线性变量选择中取得卓越的预测性能。

    Sep, 2008

  • 预测套索

    本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。

    Sep, 2010