本文研究多元回归中的分组 Lasso，使用基于 L1/L2 范数的分块正则化进行支持融合恢复或恢复 B * 非零行的集合，证明了分组 Lasso 在高维缩放下对于问题序列 (n、p、s) 成功的阈值和失败的阈值，并使用模拟演示了理论结果的锐度。

Aug, 2008

本研究针对一类单指数模型，在不同的数据分布和假设条件下分别采用切片逆回归、LASSO 以及协方差筛选等算法，实现对支持集的恢复，并对 LASSO 用于线性模型的支持恢复结果进行推广。

Nov, 2015

对于具有噪声标签的二元分类问题，正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下，假设类别是由高斯混合模型生成的，其中有一个小于 1/2 的比例的训练数据被误标记，我们严格分析了岭回归、L1 和 L∞回归应用时产生的分类错误。特别地，我们证明了岭回归总能改善分类错误。我们证明了 L1 正则化引起稀疏性，并观察到在许多情况下，不考虑 GMM 的稀疏结构，可以将解稀疏化两个数量级而不会有明显的性能损失。对于 L∞正则化，我们证明了对于足够大的正则化强度，最优权重集中在两个相反符号的值周围。我们观察到在许多情况下，将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。

Nov, 2023

本论文探讨了利用 $\ell_1$ 和 $\ell_1+\ell_2$ 型惩罚方案进行有限样本下的变量选择的正确方法，并研究了在给定的置信水平下，如何通过样本大小、参数数量等因素来确定信号强度和调整参数值的条件。同时，该文分析证明了在可识别模型中，这两种方法均可以恢复大小为 $1/\sqrt {n}$ 的系数。

Aug, 2008

本论文使用原始 - 对偶见证证明方法证明了在回归问题中，即使损失函数和 / 或正则化器是非凸的，也可以建立变量选择一致性和 l∞- 界限。使用这种方法，我们得出了两个关于支持恢复和 l∞ - 保证回归估计器的定理，我们的结果为使用非凸正则化器提供了严格的理论依据

Dec, 2014

通过参数估计准确性和特征选择质量两个角度，我们得出了最小二乘回归与 $L_1$ 正则化的性能边界。对于 $L_1$ 正则化得出的主要结果扩展了 Dantzig 选择器中 [Ann.Statist.35 (2007) 2313-2351] 类似的结果，并肯定回答了 [Ann.Statist.35 (2007) 2358-2364] 中的一个未解问题。此外，该结果还产生了一种更广泛的特征选择观点，该观点比一些最近的工作具有更少的约束条件。基于理论洞察力，我们分析了具有选择性处罚的新型两阶段 $L_1$ 正则化过程，并表明如果目标参数向量可以分解为具有大系数的稀疏参数向量和具有相对较小系数的其他较少稀疏向量的总和，则两阶段过程可以提高性能。

Aug, 2009

提出了一种新的双层投影方法，其 l1,inf 范数在矩阵中的时间复杂度仅为 O (nm)，在具有完全并行能力时为 O (n+m)，同时还将方法推广到张量，并提出了一个引发线性并行加速和指数加速因子的分解的多级投影方法，结果是时间复杂度的下限为维度之和。实验证明，该双层 l1,inf 投影方法比文献中提供的最快算法快 2.5 倍，同时在神经网络应用中具有相同的准确度和更好的稀疏性。

May, 2024

本文提出一种利用基于块的 l1— 范数正则化器实现图像稀疏表示及重建的新方法，同时利用其凸性质，开发出可以保证全局最优性的计算有效的恢复算法，并在压缩图像恢复、图像恢复和鲁棒 PCA 等各种任务上证明了其有效性。

May, 2016

本文提出了一种基于 logistic 回归的方法来估计与二元 Ising 马尔可夫随机场相关联的图，并分析了该方法在高维情况下的表现，提出了一些充分条件，使其能够同时一致估计图中每个节点的邻域。

Oct, 2010

本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。

Jun, 2019