本文研究使用正交匹配追踪(OMP)算法的 EFS 解决子空间中稀疏算法问题与 NN 算法方法的差异问题。通过实证研究,证明在数据集的子空间抽样稀疏的情况下,与 NN 方法相比,稀疏恢复方法具有更显著的优势,且 OMP 可被用于在一些 NN 方法无法揭示子空间点的情况下可靠地恢复精确特征集。
Mar, 2013
本文介绍了使用 $L_1$ 正则化方法的近似线性规划,以解决过多和丰富的特征对现有算法的过拟合问题,并为正则化的近似线性规划提供新的和更强的采样上界;并提出了计算有效的同伦方法。在简单的 MDPs 和基准问题上,提出的方法表现良好。
May, 2010
该研究提出了一种贪心算法,Gradient Support Pursuit (GraSP),以近似任意形式损失函数的稀疏极小值,适用于稀疏逻辑回归等问题,算法性能通过在合成数据上的数值模拟进行评估。
Mar, 2012
本研究提出了一种新的方法来证明 Group LASSO 算法在稀疏凸优化中的一些特定情况下具有 recovery guarantees,为进一步解决列子集选择问题提供了新的策略。
Jul, 2023
本研究提出了一种利用稀疏正则化方法进行特征选择的神经网络扩展方法,比传统方法更为高效且可用于任何现有结构,同时能够直接应用于神经元修剪和光谱数据的重要区域选择。
Jul, 2020
使用 $L_0$- 范数正则化技术稀疏化深度强化学习策略,通过低秩分解提供压缩效果,以减少计算资源消耗和限制过拟合。
Mar, 2024
采用统一的熵正则化策略优化框架,将不同算法统一为特殊实例,从而提供了统一的探索与学习效率的视角。此外,本文还提出了一种动态插值的算法,用于调度序列模型的学习,实验证明其优于传统算法。
Nov, 2018
通过参数估计准确性和特征选择质量两个角度,我们得出了最小二乘回归与 $L_1$ 正则化的性能边界。对于 $L_1$ 正则化得出的主要结果扩展了 Dantzig 选择器中 [Ann.Statist.35 (2007) 2313-2351] 类似的结果,并肯定回答了 [Ann.Statist.35 (2007) 2358-2364] 中的一个未解问题。此外,该结果还产生了一种更广泛的特征选择观点,该观点比一些最近的工作具有更少的约束条件。基于理论洞察力,我们分析了具有选择性处罚的新型两阶段 $L_1$ 正则化过程,并表明如果目标参数向量可以分解为具有大系数的稀疏参数向量和具有相对较小系数的其他较少稀疏向量的总和,则两阶段过程可以提高性能。
Aug, 2009
本文提出了一种新的 $l_1$ 正则化的离策略收敛 TD 学习方法(称为 RO-TD),能够以较低的计算复杂度学习值函数的稀疏表示,并且具有在线凸正则化的特征选择能力。详细的理论和实验分析表明该算法具有离策略收敛、稀疏特征选择能力和低计算成本。
Jun, 2020
本文回顾了特征选择领域内应用最广的方法,重点关注其精度和误检探测率随着样本数量增加的表现,并对比了常用的 Lasso 正则化方法以外,不太为人所知的非凸罚函数方法。通过实证分析,我们发现整数规划方案及其布尔松弛具有更优的性能表现,但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素,本文揭示了一些不同的特征选择方案,为相关领域的研究提供了参考依据。
Feb, 2019