本研究提出了一种新颖的神经网络特征选择体系结构，称为基于注意力机制的特征选择（AFS），它包括两个可分离的模块：特征权重生成的注意力模块和问题建模的学习模块。 通过实验结果，AFS 在与多种最先进的特征选择算法的比较中表现出最佳的精度和稳定性。

Feb, 2019

我们提出了一种深度序列生成学习方法来进行特征选择，该方法通过学习连续嵌入空间，将特征选择决策序列映射为与效用分数相关的嵌入向量，从而解决了传统方法中存在的离散搜索空间和专家特定超参数的问题。

Mar, 2024

基于表征的孪生网络在轻量级文本匹配中因其低部署和推理成本而变得流行。我们提出了 Feature Attention（FA），一种新颖的下游模块，旨在丰富嵌入特征之间的依赖建模。该模块动态调整对个体特征的强调，使网络更集中于对最终分类有重要贡献的特征。在 FA 的基础上，我们引入了一种名为 Selective Feature Attention（SFA）的动态 “选择” 机制，利用了堆叠 BiGRU Inception 结构。该模块通过遍历不同的堆叠 BiGRU 层，促进网络集中关注跨不同抽象级别的语义信息和嵌入特征，从而实现多尺度语义提取。FA 和 SFA 模块都能无缝集成到各种孪生网络中，并展示了即插即用的特性。对多样的文本匹配基线和基准进行的实验评估强调了建模特征注意力的必要性以及 “选择” 机制的优越性。

Apr, 2024

提出了一种新的基于自上而下的认知偏见和自下而上的特征提取相结合的注意力神经网络框架，能够在处理高噪声或难以分割的问题时取得预期，模块化和可扩展，并能够适应复杂行为模式，在 MNIST 变分数据集上获得了与现有技术相当或更好的分类准确性和成功地分离重叠数字。

Nov, 2014

本文介绍了一种新型的硬注意力机制，该机制忽略了某些特征但仍能达到与软注意力相同或更好的性能，而且因为其选择了输入信息的重要特征，因此比类似的软注意力机制更加高效。

Aug, 2018

本文研究序列到序列模型中注意力机制，通过监督学习的方法对注意力权重和输出对齐进行训练，实验结果表明，对齐学习对模型性能的提升至关重要。

Apr, 2022

本文旨在探索利用基于注意力机制的神经网络对特征进行重要性排序以用于模型解释的方法，通过对十个数据集进行规模无关的特征重要性估计算法比较的研究，展示了利用自注意力网络（SAN）对特征进行排序与其他方法在高级别特征识别上的相似性，以及在某些情况下，SAN 对特征交互性的识别比现有基线方法更具优势。

Feb, 2020

通过引入基于深度学习的自监督机制，提出了一种批量注意力自监督特征选择（A-SFS）方法，该方法利用多任务自监督自编码器发现特征之间的隐藏结构，并通过批量注意力机制生成特征权重，以减少少量有噪音数据的影响。与 14 种主要的算法进行比较，实验结果表明，该方法在大多数数据集中具有最高的准确性，并且在降低对标签的依赖，并且对于噪声和丢失数据最具有鲁棒性。

Jul, 2022

本文提出了一种新的主动特征获取方法，使用 Lazy Model 和 Fisher scores 确定特征子集以在测试期间最大程度地提高预测性能同时最小化成本（即特征获取成本达到可接受的精度或预算限制），并在合成和实际数据集上进行了实验来证明其准确性和速度优势。

Jun, 2023

该论文介绍了将基于特征的注意力 (feature-based attention) 应用于卷积神经网络的简单方法，并与多种实现选项进行比较，实现了在处理具有噪声或混杂情况下的图像对象检测任务时的性能提升，并验证了生物学特征相似性增益模型在提高性能上的有效性。

Nov, 2015