AFS-BM:通过二进制掩码实现自适应特征选择提升模型性能
我们提出了一个新颖的框架,通过考虑模型的预测结果来选择特征。我们使用一种新颖的特征屏蔽方法,在选择过程中消除特征,而不是完全从数据集中删除它们,从而可以在特征选择过程中继续使用同一 ML 模型。我们通过 ML 模型的预测结果获得屏蔽运算符,为模型的预测性能提供了关键特征子集的全面视图。我们使用 LightGBM 和多层感知机作为 ML 模型,在不同设置下的真实数据集上展示了显著的性能改进。此外,我们公开分享了我们方法的实现代码,以鼓励在此领域的研究和贡献。
Jan, 2024
本研究提出了一种新颖的神经网络特征选择体系结构,称为基于注意力机制的特征选择(AFS),它包括两个可分离的模块:特征权重生成的注意力模块和问题建模的学习模块。 通过实验结果,AFS 在与多种最先进的特征选择算法的比较中表现出最佳的精度和稳定性。
Feb, 2019
通过引入基于深度学习的自监督机制,提出了一种批量注意力自监督特征选择(A-SFS)方法,该方法利用多任务自监督自编码器发现特征之间的隐藏结构,并通过批量注意力机制生成特征权重,以减少少量有噪音数据的影响。与 14 种主要的算法进行比较,实验结果表明,该方法在大多数数据集中具有最高的准确性,并且在降低对标签的依赖,并且对于噪声和丢失数据最具有鲁棒性。
Jul, 2022
该论文介绍了一种用于多类别分类的自动特征选择的新型基于图的滤波方法(缩写为 GB-AFS),它确定了在维持预测性能的同时保持不同类别之间互补判别能力的最小特征组合。该方法不需要任何用户定义的参数,如要选择的特征数量。该方法使用 Jeffries-Matusita (JM) 距离结合 t 分布随机邻域嵌入(t-SNE)生成反映每个特征能够在每对类别之间区分性的低维空间。采用我们新开发的用于特征选择任务的平均简化 Silhouette (MSS) 指数选择最小特征数量,该指数旨在评估特征选择任务的聚类结果。在公开数据集上的实验结果表明,所提出的 GB-AFS 方法优于其他基于滤波的技术和自动特征选择方法的性能。此外,所提出的算法在仅使用特征的 7% 到 30% 的情况下保持了达到的准确性,从而将分类所需的时间减少了 15% 到 70%。
Sep, 2023
该研究提出了一种基于批处理衰减和特征掩码标准化的特征遮罩模块(FM 模块)进行特征选择的方法,该方法几乎不受超参数的影响,易于集成到神经网络中作为嵌入式特征选择方法。实验结果表明与其他最先进的基于深度学习的特征选择方法相比,该方法易于使用且性能优越。
Oct, 2020
多视角特征选择(MvFS)是一个选择推荐系统中信息性特征的方法,通过使用一个多视角网络并采用独立的重要性评分策略,以更加均衡的方式选择特征,解决了传统方法中易受主要特征偏倚的问题,实验证明其相较于现有方法具有更高的效果。
Sep, 2023
研究如何在自动化特征选择中平衡有效性和效率。通过提出一个新的交互式增强特征选择框架,将特征选择问题形式化为交互式强化学习框架,该框架通过自我探索经验及多元化外部技术指导训练器,从而加速学习。此外,该研究利用多种不同搜索策略进行训练,并提出了一种混合教学策略来帮助智能体学习更广泛的知识。最后,对真实世界数据集进行广泛实验以展示该方法的性能改进。
Aug, 2020
本文介绍了自适应特征选择(AFS)来优化基于编码器 - 解码器的端到端语音翻译,实验表明, 使用 AFS 来稀疏语音特征可以提高翻译效果,降低模型计算复杂度,并与级联基线模型相比取得了更好的性能,在 LibriSpeech En-Fr 上的 BLEU 分数达到了 18.56。
Oct, 2020
提出 SLM (Sparse Learnable Masks) 方法,采用了可学习的稀疏掩码,通过最大化选定特征与标签之间相互信息的方法进行端到端的特征选择,可精确控制选择的特征数,并在多个基准数据集上达到最先进的结果。
Apr, 2023