AFS:一种基于注意力机制的监督特征选择方法
通过引入基于深度学习的自监督机制,提出了一种批量注意力自监督特征选择(A-SFS)方法,该方法利用多任务自监督自编码器发现特征之间的隐藏结构,并通过批量注意力机制生成特征权重,以减少少量有噪音数据的影响。与 14 种主要的算法进行比较,实验结果表明,该方法在大多数数据集中具有最高的准确性,并且在降低对标签的依赖,并且对于噪声和丢失数据最具有鲁棒性。
Jul, 2022
我们研究了机器学习中一个非常关键的问题,即特征选择,针对该问题存在的挑战,我们提出了一种叫做 “自适应特征选择与二进制掩蔽” 的方法,该方法通过联合优化实现了同时进行特征选择和模型训练,并能够在训练过程中动态地适应特征的重要性变化,从而显著提高了模型的准确性并减少了计算需求。
Jan, 2024
本文介绍了自适应特征选择(AFS)来优化基于编码器 - 解码器的端到端语音翻译,实验表明, 使用 AFS 来稀疏语音特征可以提高翻译效果,降低模型计算复杂度,并与级联基线模型相比取得了更好的性能,在 LibriSpeech En-Fr 上的 BLEU 分数达到了 18.56。
Oct, 2020
该研究提出一种名为 Sequential Attention 的特征选择算法,使用注意力权重作为特征重要性的代理,实现了神经网络的最新实证结果;通过在线性回归方面提出的理论分析,可与经典的 Orthogonal Matching Pursuit (OMP) 算法等效,并继承了所有的可证明的保证;理论和经验分析为注意力的有效性及其与过度参数化的联系提供了新的解释。
Sep, 2022
多视角特征选择(MvFS)是一个选择推荐系统中信息性特征的方法,通过使用一个多视角网络并采用独立的重要性评分策略,以更加均衡的方式选择特征,解决了传统方法中易受主要特征偏倚的问题,实验证明其相较于现有方法具有更高的效果。
Sep, 2023
通过分析真实和虚拟世界中深度强化学习的响应,Dual-world embedded Attentive Feature Selection (D-AFS) 能够为动态控制下的系统高效选择相关的传感器,进而实现传感器选择最优化,通过在气动力学问题上的实际测试,该方法成功优化了 5 个探针布局,表明其在实验或工业系统的传感器优化方面具有广泛的应用前景。
Jun, 2022
本研究提出了基于自适应分类的在线稀疏特征流式选择方法 (OS2FS-AC),通过潜在因子分析 (LFA) 预估缺失数据,将特征划分为强相关、弱相关和不相关三类,并将其中的弱相关特征进一步进行信息分割,实验证明该方法在真实数据集上的表现优于现有算法。
Feb, 2023
研究如何在自动化特征选择中平衡有效性和效率。通过提出一个新的交互式增强特征选择框架,将特征选择问题形式化为交互式强化学习框架,该框架通过自我探索经验及多元化外部技术指导训练器,从而加速学习。此外,该研究利用多种不同搜索策略进行训练,并提出了一种混合教学策略来帮助智能体学习更广泛的知识。最后,对真实世界数据集进行广泛实验以展示该方法的性能改进。
Aug, 2020
该论文介绍了一种用于多类别分类的自动特征选择的新型基于图的滤波方法(缩写为 GB-AFS),它确定了在维持预测性能的同时保持不同类别之间互补判别能力的最小特征组合。该方法不需要任何用户定义的参数,如要选择的特征数量。该方法使用 Jeffries-Matusita (JM) 距离结合 t 分布随机邻域嵌入(t-SNE)生成反映每个特征能够在每对类别之间区分性的低维空间。采用我们新开发的用于特征选择任务的平均简化 Silhouette (MSS) 指数选择最小特征数量,该指数旨在评估特征选择任务的聚类结果。在公开数据集上的实验结果表明,所提出的 GB-AFS 方法优于其他基于滤波的技术和自动特征选择方法的性能。此外,所提出的算法在仅使用特征的 7% 到 30% 的情况下保持了达到的准确性,从而将分类所需的时间减少了 15% 到 70%。
Sep, 2023