Feb, 2024

基于正交约束和多边形面积的特征选择

PDF
TL;DR本研究提出了一种新颖的正交回归模型，结合多边形的面积，以直观地捕捉特征与标签之间的区分性依赖，并采用混合非单调线性搜索方法来高效处理正交约束带来的非凸优化挑战，实验结果表明，这种方法不仅可以有效捕捉区分性依赖信息，而且在降低特征维度和提高分类性能方面优于传统方法。
发现论文，激发创造
  • 特征合奏：判别特征选择遇见无监督聚类

    本文提出了一种高效的算法，以一种高效、紧凑的方式从候选项中发现输入特征或分类器的稀疏表示，用于大规模识别，并在训练速度和性能方面显着优于传统方法和强大的分类器，特别是在有限的训练数据的情况下。

    Nov, 2014

  • 利用替代特征选择找到最佳的多样特征集

    特征选择是一种流行的方法，可以获得小型、可解释且高度准确的预测模型。本文介绍了一种名为 “替代特征选择” 的方法，并将其形式化为一个优化问题。我们定义了替代特征集合的约束条件，并允许用户控制替代特征的数量和差异性。进一步分析了该优化问题的复杂性并证明了其 NP-hardness。最后，我们使用 30 个分类数据集评估了替代特征选择的效果，并观察到替代特征集合可能具有较高的预测质量，并分析了影响这一结果的几个因素。

    Jul, 2023

  • 广义线性模型的自动模型选择

    本文采用混合整数圆锥优化方法，结合整体广义线性模型，完全自动化模型选择过程。具体而言，我们直接优化赤池信息准则和贝叶斯信息准则，并在特征选择任务中引入旨在处理多重共线性的约束条件，其中包括一种新的配对相关约束，它结合了符号协调约束和来自经典统计模型（如岭回归模型和 OSCAR 模型）的想法。

    Apr, 2024

  • 嵌入式多标签特征选择的正交回归

    综合考虑了嵌入式多标签特征选择中的全局冗余和相关性优化，提出了一种名为 GRROOR 的新方法，以在特征学习过程中保留与多标签数据的局部标签相关性相关的足够的统计和结构信息，在寻找多标签数据中的具有辨别力和非冗余的特征子集方面作出贡献，通过正交回归和特征加权等方法实现。在十个多标签数据集上的广泛实验结果证明了 GRROOR 的有效性。

    Mar, 2024

  • 使用随机门进行特征选择

    本研究为高维非线性函数估计问题提出了一种基于 Bernoulli 分布连续松弛和梯度下降的特征选择方法，通过最小化指示变量向量的 l0 范数，同时选择相关特征和最小化损失函数。这种方法在合成和真实应用程序中表现出良好的潜力，并提供了将伯努利分布结合到我们方法中的信息理论证明。

    Oct, 2018

  • 从极高维度数据中发现支持和相关特征

    本文提出了一种新的学习范式，以自动从非常高的维度中识别出信息丰富且相关的特征组。通过利用相关度量作为约束条件，我们提出了一种有效的嵌入式特征选择方法，可以识别出最优的有区分性而且不相关的特征子集，即所谓的支持特征。在学习过程中，还可以发现与每个支持特征相关联的相关特征的基础组结构，即附属特征，而不需要任何额外成本。 在合成和高维真实世界数据集上的广泛实证研究验证了所提出的方法的有效性和效率。

    Jun, 2012

  • 特征智能核套索法进行高维特征选择

    本文介绍了一种基于 Least Absolute Shrinkage 和 Selection Operator（Lasso）的特征选择方法，通过使用核函数来捕捉非线性的输入输出关系，并采用基于核的独立度量来找到与输出值具有强统计依赖关系的非冗余特征。实验结果表明，该方法在具有数千个特征的场景下具有很好的效果。

    Feb, 2012

  • 迭代正交特征投影检测黑匣子模型中的偏见

    通过正交投影的迭代过程，可以量化黑盒预测模型对其输入属性的相对依赖性，进而评估这种模型的公平性或歧视程度。

    Nov, 2016

  • 无监督特征选择方法的性能分析

    本文比较了不同算法在特征选择方面的效果，结果表明 PCA、Rough PCA、USQR 和 EDR 算法能够快速筛选出对数据分类最相关的特征。

    Jun, 2013

  • 通过条件协方差最小化进行核特征选择

    提出一种基于核独立性度量的特征选择方法，通过约束优化问题中的条件协方差算子的痕迹，选择预测响应的最大子集，证明了该方法的一些一致性结果，并证明了我们的方法在各种合成和实际数据集上具有与其他最先进的算法相比的优势。

    Jul, 2017