利用统计学和机器学习相结合的方法，本文将变量选择的统计技术 Lasso 通过神经网络进行表示。观察到尽管统计方法和其神经版本具有相同的目标函数，但由于优化方法的不同而存在差异。为了更准确地估计参数，特别是在训练集较小的情况下，提出了一种模仿统计框架的标准神经网络训练方法的改进。新的优化算法用于识别显著变量，并且实验结果表明，与之前的三种优化方法相比，该算法的性能更好。

Sep, 2023

LassoNet 是一个神经网络框架，它使用了全局特征选择。我们的方法使用了一个修改的目标函数来集成特征选择和参数学习，并且提供了正则化路径和稀疏性范围。在系统实验中，LassoNet 显著优于特征选择和回归的最新方法。

Jul, 2019

我们对两层回归问题进行了分析，使用了 softmax 激活单元作为第一层，并分析了近似牛顿法用于最小化正则化训练损失的收敛性质，证明了 Hessian 矩阵的损失函数是正定和 Lipschitz 连续的，在适当的初始化和迭代次数后，我们的算法可以高概率地找到训练损失的 ε- 近似最小化器。

Nov, 2023

本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

Feb, 2020

本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质，特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现，包括一些适用于固定设计的条件以及一些收敛性的结果。最后，文章通过天体物理学中相邻频率的检测问题进行了结果论证。

Jun, 2008

本文证明了 Lasso 的鲁棒性质，并将其与物理属性，即对噪声的保护，联系起来。通过考虑不同的不确定性集合，可以得出 Lasso 的一般化形式并获得凸优化问题。同时，通过鲁棒性质可以解释为何 Lasso 解是稀疏的，并且与标准稀疏结果不同。最后，证明了稀疏性和算法稳定性是相互矛盾的，因此 Lasso 是不稳定的。

Nov, 2008

本文研究了基于 ReLU 激活函数的两层神经网络的凸优化及其群 lasso 正则化和加速近端梯度算法，该方法在 MNIST 和 CIFAR-10 数据集的图像分类方面表现良好。

Feb, 2022

本文提出使用组凸正则化的稀疏输入神经网络框架，用于解决在高维数据中进行的变量筛选和非线性函数估计的问题。通过对每个输入节点的所有出节点的权重的 L2 范数应用适当的凹值惩罚，从而为每个问题生成一个小型子集，取得了令人满意的有限样本性能和稳定的解决方案。

Jul, 2023

本文提出了 “独立可解释 Lasso”（IILasso）方法，以压制选择相关变量，从而每个活跃变量都能独立地影响模型中的目标变量；该方法在回归系数的直观解释和避免过拟合方面都表现良好，在综合分析和数据分析中证实了 IILasso 的有效性。

Nov, 2017

自动模型发现中的稀疏回归、特征提取和神经网络的应用

Oct, 2023