本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案，旨在从线性测量的过少的系统中重构出一个稀疏信号，考虑到受限等距假设，我们展示了有一定参数下，预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法，可以在费用与读取 poly-logarithmic 因子的数据一样的代价下，实现极小化率。除了最小化控制，我们还展示了当信噪比足够高时，算法会适应实例的困难度并产生一个与维度无关的率。实现算法的关键是一个逐渐增加的步长方案，根据对真实解的精细估计进行适应。我们通过数值实验验证了我们的发现并将我们的算法与显式 Λ1 惩罚进行了比较。从难实例到容易实例，我们看到我们的算法经历了一个相变，最终与具有真正的支持知识的最小二乘拟合器匹配。

Sep, 2019

稀疏性、深度神经网络、正则化路径、经验损失和帕累托前沿是研究论文的主要关键词和研究领域。

Aug, 2023

通过稀疏回归算法，特别是利用迭代奇异值分解的穷尽搜索，提出了一种通用的快速稀疏回归算法（SPRINT），用于从数据中直接学习具备定性简单性和人类可解释性的数学描述，该算法在大型符号库上具有合理的计算成本。

May, 2024

本文回顾了特征选择领域内应用最广的方法，重点关注其精度和误检探测率随着样本数量增加的表现，并对比了常用的 Lasso 正则化方法以外，不太为人所知的非凸罚函数方法。通过实证分析，我们发现整数规划方案及其布尔松弛具有更优的性能表现，但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素，本文揭示了一些不同的特征选择方案，为相关领域的研究提供了参考依据。

Feb, 2019

研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

Aug, 2012

本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

Aug, 2011

该研究提出了一种贪心算法，Gradient Support Pursuit (GraSP)，以近似任意形式损失函数的稀疏极小值，适用于稀疏逻辑回归等问题，算法性能通过在合成数据上的数值模拟进行评估。

Mar, 2012

本研究通过图形模型的理解和动态规划技术，基于组稀疏模型的组结构，解决了组模型选择问题，提出了一种修正的组模型，并研究了两个可操作的模型的群稀疏逼近的 Pareto 前沿以及选择和计算的权衡。

Mar, 2013

本文介绍了一种基于 nonlinear differential inclusions 的 inverse scale space (ISS) 方法，命名为 Bregman ISS 和 Linearized Bregman ISS，可用于从噪声线性测量中恢复稀疏信号，并给出了相应的正当性和理论保证。

Jun, 2014

这篇论文提供了一个统一的框架，以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度，指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性，这些特性在许多经典案例中也是最优的

Oct, 2010