本文回顾了特征选择领域内应用最广的方法，重点关注其精度和误检探测率随着样本数量增加的表现，并对比了常用的 Lasso 正则化方法以外，不太为人所知的非凸罚函数方法。通过实证分析，我们发现整数规划方案及其布尔松弛具有更优的性能表现，但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素，本文揭示了一些不同的特征选择方案，为相关领域的研究提供了参考依据。

Feb, 2019

LassoNet 是一个神经网络框架，它使用了全局特征选择。我们的方法使用了一个修改的目标函数来集成特征选择和参数学习，并且提供了正则化路径和稀疏性范围。在系统实验中，LassoNet 显著优于特征选择和回归的最新方法。

Jul, 2019

研究发现，在采用批归一化和 ReLU 激活以及使用自适应梯度下降技术和 L2 正则化或权值衰减训练的卷积神经网络中，存在着隐式过滤器级别稀疏性，这可能与某些在文献中提出的过滤器稀疏化启发式的特定联系有关。进一步观察表明，特定功能的出现和随后的修剪是导致特征稀疏化的机制之一，导致的特征稀疏性与某些显式稀疏化 / 修剪方法相当甚至更好。本文总结了研究发现，并指出了选择性功能处罚的推论，这也可作为过滤器修剪的启发式方法。

May, 2019

本文提出使用组凸正则化的稀疏输入神经网络框架，用于解决在高维数据中进行的变量筛选和非线性函数估计的问题。通过对每个输入节点的所有出节点的权重的 L2 范数应用适当的凹值惩罚，从而为每个问题生成一个小型子集，取得了令人满意的有限样本性能和稳定的解决方案。

Jul, 2023

本研究为高维非线性函数估计问题提出了一种基于 Bernoulli 分布连续松弛和梯度下降的特征选择方法，通过最小化指示变量向量的 l0 范数，同时选择相关特征和最小化损失函数。这种方法在合成和真实应用程序中表现出良好的潜力，并提供了将伯努利分布结合到我们方法中的信息理论证明。

Oct, 2018

本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

Aug, 2011

探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

Jul, 2016

本文提出了一种名为 BinMask 的简单 $L_0$ 正则化方法，该方法采用确定性二进制掩码相乘的权重并使用恒等误差反向传播估计器，在特征选择、网络稀疏化和模型正则化等任务上均取得了竞争性的性能表现。

Apr, 2023

本文提出了一种新的方法 --MSplit LBI 来同时实现特征选择和密集估计，实验证明该方法优于 L₁和 L₂正则化，并在 few-shot 和 zero-shot 学习中实现了最先进的性能.

Jun, 2018

研究表明，使用 Batch Normalization 和 ReLU 激活的卷积神经网络，在采用适应性梯度下降和 L2 正则化或权重衰减训练的情况下，会出现滤波器级别的稀疏性，这种隐式的稀疏性可以利用以达到神经网络加速的效果。

Nov, 2018