使用随机门进行特征选择

ICMLOct, 2018

Feature Selection using Stochastic Gates

Yutaro Yamada, Ofir Lindenbaum, Sahand Negahban, Yuval Kluger

TL;DR本研究为高维非线性函数估计问题提出了一种基于 Bernoulli 分布连续松弛和梯度下降的特征选择方法，通过最小化指示变量向量的 l0 范数，同时选择相关特征和最小化损失函数。这种方法在合成和真实应用程序中表现出良好的潜力，并提供了将伯努利分布结合到我们方法中的信息理论证明。

Abstract

feature selection problems have been extensively studied for linear estimation, for instance, Lasso, but less emphasis has been placed on feature selection for non-linear functions. In this study, we propose a me

feature selection non-linear functions high-dimensional bernoulli distribution gradient descent

发现论文，激发创造

二值随机过滤器：特征选择及其它

本研究提出了一种利用稀疏正则化方法进行特征选择的神经网络扩展方法，比传统方法更为高效且可用于任何现有结构，同时能够直接应用于神经元修剪和光谱数据的重要区域选择。

Jul, 2020

稀疏回归：可扩展的算法和实证表现

本文回顾了特征选择领域内应用最广的方法，重点关注其精度和误检探测率随着样本数量增加的表现，并对比了常用的 Lasso 正则化方法以外，不太为人所知的非凸罚函数方法。通过实证分析，我们发现整数规划方案及其布尔松弛具有更优的性能表现，但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素，本文揭示了一些不同的特征选择方案，为相关领域的研究提供了参考依据。

Feb, 2019

高效可扩展地估计随机线性组合的非线性回归

该论文研究了解决了众多机器学习和统计模型的困境，预设了一种新模型，即随机线性组合的非线性回归模型，并提出了能够高效可扩展地进行模型估算的研究成果，给出了多个基于不同假定前提的算法构建方法，并展示了相关实验结果。

Oct, 2020

通过 L1-L2 优化实现结构化模型选择

该研究提出了一种学习方法，通过稀疏最小二乘拟合和非凸 l1-l2 稀疏优化解决器来鉴定结构动力系统，该方法基于科学工程中的自动模型选择应用，研究了少样本和噪声空时数据的识别问题。

May, 2023

基于核随机特征的大规模非线性变量选择

本文提出了一种新的非线性回归输入变量选择的方法，这种方法嵌入到一个可以模拟一般非线性函数的核回归机器中，而不是局限于加性模型。通过将输入映射到随机特征的相对低维空间中，绕过了核方法典型的低伸缩性属性。通过学习适当的非线性随机特征映射，该算法发现了与回归任务相关的变量，并学习了预测模型。我们在一组大规模合成和实际数据集上展示了我们的方法的出色性能。

Apr, 2018

非参数线性特征学习与回归正则化

利用非参数预测的线性特征学习方法 RegFeaL，同时估计预测函数和线性子空间，经过实验证实其在不同实验中的表现。

Jul, 2023

高维变量选择和统计估计的阈值套索方法

通过 Thresholded Lasso 过程，对带噪声的低维数据进行精确估计，同时实现对是稀疏向量的估计和预测，这是因为该过程遵循受限特征值条件和匀致不确定性原则，简而言之，提出了使用 Lasso 方法求解线性模型上的稀疏问题的新方法，并通过模拟验证了理论分析的正确性。

Feb, 2010

通过高效的 l2,1 - 范数最小化进行多任务特征学习

本文提出了两种等价的平滑凸优化问题，并使用 Nesterov's 方法来加速计算。我们还展示了 Euclidean Projection 的解析和线性计算方法，并在多个数据集上验证了该算法的有效性。

May, 2012

非线性特征聚合：基于理论的两个算法

本文提出了两种基于非线性变换和广义线性模型的降维算法，分别适用于回归和分类问题，测试表明算法效果竞争力强。

Jun, 2023

非参数稀疏性和正则化

研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

Aug, 2012