我们提出了一个新颖的框架，通过考虑模型的预测结果来选择特征。我们使用一种新颖的特征屏蔽方法，在选择过程中消除特征，而不是完全从数据集中删除它们，从而可以在特征选择过程中继续使用同一 ML 模型。我们通过 ML 模型的预测结果获得屏蔽运算符，为模型的预测性能提供了关键特征子集的全面视图。我们使用 LightGBM 和多层感知机作为 ML 模型，在不同设置下的真实数据集上展示了显著的性能改进。此外，我们公开分享了我们方法的实现代码，以鼓励在此领域的研究和贡献。

Jan, 2024

我们研究了机器学习中一个非常关键的问题，即特征选择，针对该问题存在的挑战，我们提出了一种叫做 “自适应特征选择与二进制掩蔽” 的方法，该方法通过联合优化实现了同时进行特征选择和模型训练，并能够在训练过程中动态地适应特征的重要性变化，从而显著提高了模型的准确性并减少了计算需求。

Jan, 2024

该研究提出一种名为 Sequential Attention 的特征选择算法，使用注意力权重作为特征重要性的代理，实现了神经网络的最新实证结果；通过在线性回归方面提出的理论分析，可与经典的 Orthogonal Matching Pursuit (OMP) 算法等效，并继承了所有的可证明的保证；理论和经验分析为注意力的有效性及其与过度参数化的联系提供了新的解释。

Sep, 2022

本篇论文提出了一种轻量级的模式集成方案，称为 Attentive Normalization (AN)，将特征标准化和注意力机制相结合，实现了对实例的特征重新校准和调整，在 ImageNet 和 MS-COCO 的分类和检测任务中都获得了一致的性能提升。

Aug, 2019

我们提出了一种深度序列生成学习方法来进行特征选择，该方法通过学习连续嵌入空间，将特征选择决策序列映射为与效用分数相关的嵌入向量，从而解决了传统方法中存在的离散搜索空间和专家特定超参数的问题。

Mar, 2024

提出 SLM (Sparse Learnable Masks) 方法，采用了可学习的稀疏掩码，通过最大化选定特征与标签之间相互信息的方法进行端到端的特征选择，可精确控制选择的特征数，并在多个基准数据集上达到最先进的结果。

Apr, 2023

本研究提出了一种新颖的神经网络特征选择体系结构，称为基于注意力机制的特征选择（AFS），它包括两个可分离的模块：特征权重生成的注意力模块和问题建模的学习模块。 通过实验结果，AFS 在与多种最先进的特征选择算法的比较中表现出最佳的精度和稳定性。

Feb, 2019

通过引入基于深度学习的自监督机制，提出了一种批量注意力自监督特征选择（A-SFS）方法，该方法利用多任务自监督自编码器发现特征之间的隐藏结构，并通过批量注意力机制生成特征权重，以减少少量有噪音数据的影响。与 14 种主要的算法进行比较，实验结果表明，该方法在大多数数据集中具有最高的准确性，并且在降低对标签的依赖，并且对于噪声和丢失数据最具有鲁棒性。

Jul, 2022

自动化的特征工程框架 AutoMAN 通过有效地探索候选转换空间并学习特征重要性掩码，将数据集的任务目标直接整合进特征工程，从而实现了与替代方法相比具有更高的准确性和更低的延迟。

Jun, 2024

本研究提出了一种利用稀疏正则化方法进行特征选择的神经网络扩展方法，比传统方法更为高效且可用于任何现有结构，同时能够直接应用于神经元修剪和光谱数据的重要区域选择。

Jul, 2020