KDDJun, 2020

利用模型内在变量重要性进行稳定的在线特征选择

PDF
TL;DR本文提出了一种基于 FIRES 的在线特征选择新框架，通过处理模型参数作为随机变量惩罚不确定性高的特征，选择更加稳定的特征集，并实验证明该框架在稳定性方面显著优于现有方法。
feature selectiononline modelspredictive modelfiresstability
发现论文，激发创造
  • 特征重要性排名度量

    本文介绍了一种名为 Feature Importance Ranking Measure（FIRM）的方法，通过回顾性分析任意学习机器，该方法能够达到优秀的预测性能和优越的解释性。与标准的原始特征加权不同，FIRM 考虑了特征之间的相关性结构。因此，它能够发现最相关的特征，即使它们在训练数据中的出现完全被噪声阻止。

    Jun, 2009

  • 监督式特征排名算法的新型评估方法

    本文提出了一种新的评估方法，使用合成数据集评估特征重要性得分，并构建了一个名为 fseval 的 Python 基准测试框架，该框架允许在 HPC 系统上并行和分布式地执行实验。通过与在线平台 Weights and Biases 集成，可以在实时仪表板上交互地探索图表。研究结论通过探索一种大规模实验来找出参与算法的优点和缺点。

    Jul, 2022

  • 特征重要性解释的可解释性与搜索方法中的越界问题

    本篇研究提出了多维特征重要性（FI）解释的新方法，包括改进训练过程、比较不同特征移除方法、引入四种基于搜索的方法来识别 FI 解释。在六个文本分类数据集上的实验表明，引入的平行本地搜索（PLS）方法是唯一能够持续优于随机搜索的方法，FI 解释的改进也大幅提升了分类性能。

    Jun, 2021

  • 特征重要性的固有不一致性

    本文提出一种新的特征重要性得分框架，通过将特征空间重新划分成可分离集合，从而统一了现有研究所存在的不一致性，实现了对机器学习算法的可解释性。

    Jun, 2022

  • 通用框架：关于对算法无关变量重要性的推断

    本文提出了关于变量重要性的非参数推断的一般框架，定义了变量重要性作为所有可用特征与除考虑特征外的所有特征之间的神谕可预测性的总体对比，并提出了有效的估计程序和策略。

    Apr, 2020

  • 一种用于不完整数据的新型特征选择框架

    提出了一种考虑特征重要性的新型不完整数据特征选择框架，通过多个迭代阶段的缺失值插补和特征重要性学习，实验结果表明该方法明显优于其他方法。

    Dec, 2023

  • 无限潜变量特征选择：基于概率潜图的排名方法

    本文提出了一种基于概率潜变量图的鲁棒性特征选择算法，它通过将特征子集视为图上的路径，在考虑所有特征子集的同时执行排名步骤，并将相关性建模为 PLSA 启发式生成过程中的潜在变量。实验表明，该方法在许多不同的场景和难度下都可获得最高性能水平，并在特征选择领域设定了一个新的最佳状态。

    Jul, 2017

  • 一种简单有效的基于模型的变量重要性度量方法

    本文提出了一种标准化的、基于模型的方法来测量监督学习算法中预测器的重要性，该方法适用于各种现代算法，如随机森林、梯度提升决策树等。

    May, 2018

  • 测试阶段顺序特征选择的快速分类

    本文提出了一种新的主动特征获取方法，使用 Lazy Model 和 Fisher scores 确定特征子集以在测试期间最大程度地提高预测性能同时最小化成本（即特征获取成本达到可接受的精度或预算限制），并在合成和实际数据集上进行了实验来证明其准确性和速度优势。

    Jun, 2023

  • 在线稀疏流特征选择使用调整分类

    本研究提出了基于自适应分类的在线稀疏特征流式选择方法 (OS2FS-AC)，通过潜在因子分析 (LFA) 预估缺失数据，将特征划分为强相关、弱相关和不相关三类，并将其中的弱相关特征进一步进行信息分割，实验证明该方法在真实数据集上的表现优于现有算法。

    Feb, 2023