特征选择的二进制特征掩码优化

Jan, 2024

Binary Feature Mask Optimization for Feature Selection

Mehmet E. Lorasdagi, Mehmet Y. Turali, Ali T. Koc, Suleyman S. Kozat

TL;DR我们提出了一个新颖的框架，通过考虑模型的预测结果来选择特征。我们使用一种新颖的特征屏蔽方法，在选择过程中消除特征，而不是完全从数据集中删除它们，从而可以在特征选择过程中继续使用同一 ML 模型。我们通过 ML 模型的预测结果获得屏蔽运算符，为模型的预测性能提供了关键特征子集的全面视图。我们使用 LightGBM 和多层感知机作为 ML 模型，在不同设置下的真实数据集上展示了显著的性能改进。此外，我们公开分享了我们方法的实现代码，以鼓励在此领域的研究和贡献。

Abstract

We investigate feature selection problem for generic machine learning (ML) models. We introduce a novel framework that selects features considering the predictions of the model. Our framework innovates by using a novel feature masking approach to eliminate the features during the selec

feature selection machine learning models feature masking dataset ml model

发现论文，激发创造

AFS-BM：通过二进制掩码实现自适应特征选择提升模型性能

我们研究了机器学习中一个非常关键的问题，即特征选择，针对该问题存在的挑战，我们提出了一种叫做 “自适应特征选择与二进制掩蔽” 的方法，该方法通过联合优化实现了同时进行特征选择和模型训练，并能够在训练过程中动态地适应特征的重要性变化，从而显著提高了模型的准确性并减少了计算需求。

Jan, 2024

使用批次衰减和特征掩码归一化进行特征选择

该研究提出了一种基于批处理衰减和特征掩码标准化的特征遮罩模块（FM 模块）进行特征选择的方法，该方法几乎不受超参数的影响，易于集成到神经网络中作为嵌入式特征选择方法。实验结果表明与其他最先进的基于深度学习的特征选择方法相比，该方法易于使用且性能优越。

Oct, 2020

SLM: 稀疏可学习掩模的端到端特征选择

提出 SLM (Sparse Learnable Masks) 方法，采用了可学习的稀疏掩码，通过最大化选定特征与标签之间相互信息的方法进行端到端的特征选择，可精确控制选择的特征数，并在多个基准数据集上达到最先进的结果。

Apr, 2023

借助机器学习算法进行遮面人脸识别的探索性研究

本文介绍了一项关于带口罩可识别面部的研究，通过使用 6 种机器学习算法并生成遮面脸部图像，我们评估了这些算法在带口罩和不带口罩的情况下的识别表现。

Jun, 2023

特征选择作为深度顺序生成学习

我们提出了一种深度序列生成学习方法来进行特征选择，该方法通过学习连续嵌入空间，将特征选择决策序列映射为与效用分数相关的嵌入向量，从而解决了传统方法中存在的离散搜索空间和专家特定超参数的问题。

Mar, 2024

Train No Evil: 面向任务导向的有选择掩码预训练

本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

Apr, 2020

面具特征预测用于自监督视觉预训练

本研究提出了 Masked Feature Prediction (MaskFeat) 方法，它使用随机遮挡的方式自我监督预训练视频模型，主要利用 Histograms of Oriented Gradients（HOG）这种手工特征描述符，探讨了 5 种不同的特征，并发现其中 HOG 在性能和效率方面表现出色，该方法在无需使用额外模型权重或监督的情况下，使用未标记视频预训练，可以实现 86.7％的 Kinetics-400 分类准确率，拥有出色的表现。

Dec, 2021

二值随机过滤器：特征选择及其它

本研究提出了一种利用稀疏正则化方法进行特征选择的神经网络扩展方法，比传统方法更为高效且可用于任何现有结构，同时能够直接应用于神经元修剪和光谱数据的重要区域选择。

Jul, 2020

（多任务）梯度提升树的可扩展特征选择

本文提出了一种可伸缩的基于前向特征选择的梯度提升决策树方法，通过一种新颖的群体测试过程，在高维度下工作良好，并具有较好的理论性能和计算保证，可用于搜索和推荐中的排名和相关模型的构建。同时，该方法扩展到多任务设置，允许从多个任务中选择通用特征和选择任务特定特征，与现有的梯度提升决策树方法相比，在模型性能度量方面表现相当，但训练时间有显著提升。

Sep, 2021

不是所有的特征都是相等的：发现维护预测隐私所需的基本特征

本研究提出了 Cloak 框架，其通过梯度优化方法在输入特征空间中发现功能性预测模型所需的子集，并使用保证效用的常量值抑制其余特征，从而减少机器学习服务中数据泄露和隐私问题。实验结果表明，Cloak 可将输入特征与筛选后的表征之间的互信息降低 85.01％，对效用的影响几乎可以忽略不计（1.42％）。

Mar, 2020