本文证明了 Lasso 的鲁棒性质，并将其与物理属性，即对噪声的保护，联系起来。通过考虑不同的不确定性集合，可以得出Lasso的一般化形式并获得凸优化问题。同时，通过鲁棒性质可以解释为何Lasso解是稀疏的，并且与标准稀疏结果不同。最后，证明了稀疏性和算法稳定性是相互矛盾的，因此Lasso是不稳定的。

Nov, 2008

本文介绍了一种基于数据相关性的一般化界限，适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索(Lasso)、组套索(group Lasso)、一些具有重叠组的组套索版本、多核学习(multiple kernel learning)和其他正则化方案。在所有这些情况下，都可以获得有竞争力的结果。我们界限的新特点是，它可以应用于无限维度的设置，例如具有可分离的希尔伯特空间的套索(Lasso)或具有可数核的多核学习(multiple kernel learning)。

Aug, 2011

本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

Sep, 2011

本文主要讨论机器学习中任意时间的线性预测问题，并提出了一种基于成本分组的算法来实现。通过理论分析，我们保证了该算法在任何成本预算下都能取得接近最优的线性预测性能。同时，我们也提出了一种可将成本 $B$ 的线性预测问题近似到 $4B$ 的算法，并证明该算法在成本小于 $4B$ 时是不可能的。

Sep, 2014

探究如何在学习排名中将特征选择集成入学习过程中，并且提出了一种使用SVM和稀疏正则化术语进行特征选择的通用框架。

Jul, 2015

探讨了深度神经网络、特征选择和优化之间的关系，并通过引入Group Lasso penalty的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

Jul, 2016

本文提出了一种基于理想(凸包)形式的新的计算稀疏回归的强凸松弛方式，采用半定优化问题在扩展空间中求解，具有更强更通用的性能。实验表明，所提出的锥形公式的解可以在几秒钟内求解，且在统计学上的预测精度和解释性上表现更佳。

Jan, 2019

本文提出了适应性正则化硬阈值算法（ARHT）和置换正交匹配追踪算法（OMPR）用于优化一个凸函数的目标，同时在稀疏约束下，使用受限制条件数来分析各种算法的稀疏性保证，进一步研究了基于约束等距性的压缩感知。

Jun, 2020

通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成Lasso的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。

Dec, 2023

本文提出了一种新颖简洁的正则化方法，称为稀疏分组$k$-max正则化，它不仅可以同时增强组内和组间的稀疏性，还对每个组内变量的大小没有额外的限制，特别适合不同尺度的变量，从而更接近逼近$l_0$范数。同时，我们还建立了具有局部最优条件和复杂性分析的迭代软阈值算法。通过在合成和真实数据集上进行的数值实验，验证了该方法的有效性和灵活性。

Feb, 2024