Sep, 2023

神经拉索：套索和神经网络的统一方法

PDF
TL;DR利用统计学和机器学习相结合的方法，本文将变量选择的统计技术 Lasso 通过神经网络进行表示。观察到尽管统计方法和其神经版本具有相同的目标函数，但由于优化方法的不同而存在差异。为了更准确地估计参数，特别是在训练集较小的情况下，提出了一种模仿统计框架的标准神经网络训练方法的改进。新的优化算法用于识别显著变量，并且实验结果表明，与之前的三种优化方法相比，该算法的性能更好。
statisticsmachine learninglassoneural networkoptimization
发现论文，激发创造
  • LassoNet：一种带有特征稀疏性的神经网络

    LassoNet 是一个神经网络框架，它使用了全局特征选择。我们的方法使用了一个修改的目标函数来集成特征选择和参数学习，并且提供了正则化路径和稀疏性范围。在系统实验中，LassoNet 显著优于特征选择和回归的最新方法。

    Jul, 2019

  • 网络套索：大型图中的聚类和优化

    本文介绍了基于交替方向乘子法的分布式可扩展解决网络套索问题的算法，在图形数据上进行聚类和优化，比对了基准方法并表明其是在解决大型优化问题中既快速又准确的方法。

    Jul, 2015

  • 通过 LASSO 正则化证明双层 ReLU 神经网络的可识别性

    本文将 LASSO 正则化技术推广到两层 ReLU 神经网络中，通过扩展限制等距性原理分析框架，可实现稳定重构神经网络并识别输入的子集，从而提出了一种基于神经网络的变量选取方法。实验结果表明与现有技术相比，该方法具有良好表现。

    May, 2023

  • Lasso 方法下的高维图表与变量筛选

    该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计，实现了变量选择，并控制了图中误连接不同的连通分量的概率，最终实现了稀疏图的一致性估计。

    Aug, 2006

  • 使用组凸规则的稀疏输入神经网络

    本文提出使用组凸正则化的稀疏输入神经网络框架，用于解决在高维数据中进行的变量筛选和非线性函数估计的问题。通过对每个输入节点的所有出节点的权重的 L2 范数应用适当的凹值惩罚，从而为每个问题生成一个小型子集，取得了令人满意的有限样本性能和稳定的解决方案。

    Jul, 2023

  • 预测套索

    本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。

    Sep, 2010

  • 基于统计模型的主动学习

    本文回顾了如何使用最优数据选择技术来优化一些类型的机器学习算法，包括前馈神经网络、高斯混合模型和局部加权回归，并探讨了此方法如何降低训练数据量，提高模型性能。

    Mar, 1996

  • 高维非参数回归和分类的稀疏输入神经网络

    该论文提出了使用稀疏组套索惩罚来适应神经网络以解决非参数高维问题，其中真实功能位于低维子空间中，并对统计收敛性进行了表征。

    Nov, 2017

  • 多元点过程的套索和概率不等式

    本文提出了一种自适应的 L1 - 罚函数定量分析方法，通过基于概率的非渐进性结果和新的 Bernstein 型不等式，以估计数量过程中的未知函数参数的线性组合形式对固定字典进行了选择，检验了不同字典假设下的巨额矩阵，并通过机械活动推断问题的仿真研究与自适应 Lasso 方法进行了比较。

    Aug, 2012

  • 高维数据的稀疏表示 Lasso 型恢复

    本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质，特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现，包括一些适用于固定设计的条件以及一些收敛性的结果。最后，文章通过天体物理学中相邻频率的检测问题进行了结果论证。

    Jun, 2008