在统计学习理论框架下，我们分析了 Zou 和 Hastie 提出的弹性网正则化方案，重点研究了该方案的统计性质及其一致性，证明了在目标预测函数的一个无限维度的词典中，存在一个特定的弹性网表示，并且该弹性网估计器不仅对预测而且对变量 / 特征选择都具有一致性，包括有限样本边界和自适应方案来选择正则化参数。

Jul, 2008

本文研究了弹性网络正则化器的几何性质，使用其导出可扩展且可证明正确的主动集方法，以找到最佳系数，并提供了弹性网络子空间聚类中连接性和保子空间性之间平衡的理论解释和几何解释，实验证明所提出的主动集方法不仅实现了最先进的聚类性能，还能有效地处理大规模数据集。

May, 2016

本文讨论高维数据下的模型选择和估计问题，并提出自适应弹性网络算法解决这种问题。该算法结合了二次正则化和自适应加权 Lasso 收缩的优点，并在一定的正则性条件下证明了其拥有 oracle 属性。模拟结果表明，相比于其他方法，自适应弹性网络更有效地处理共线性问题，并具有良好的有限数据表现。

Aug, 2009

我们对基于正则化的连续学习在一系列线性回归任务中进行了统计分析，重点在于不同正则化项如何影响模型性能。我们推导了作为先验估计器的收敛速率，考虑了由矩阵值超参数索引的广义 l2 正则化算法族，包括最小范数估计器和连续岭回归作为特例。随着任务的增加，我们推导了广义 l2 正则化估计器的估计误差的迭代更新公式，从中确定了导致最佳算法的超参数。有趣的是，超参数的选择能够有效平衡前向和后向知识转移的权衡，并适应数据异质性。此外，我们明确地推导出最佳算法的估计误差，它与先验估计器的误差同阶。相比之下，我们的最小范数估计器和连续岭回归的下界显示了它们的子优性。我们的理论分析的副产品是提出了在连续学习中早停和广义 l2 正则化之间的等价性，这可能具有独立的研究价值。最后，我们进行实验以补充我们的理论。

Jun, 2024

本研究采用稀疏负二项式回归和弹性网估计器来研究计数数据，并证明了使用弹性网估计器的非渐近优势。研究中导出了两种 NBR 的弹性网估计的神谕不等式，应用于列联前提条件和稳定条件。通过对加权负二项变量的最大经验过程的浓度不等式的推导，我们展示了一些高概率事件。本研究还探讨了去偏弹性网络估计器，提出了支持该提议的数值研究结果。

Dec, 2017

本文提出了两种等价的平滑凸优化问题，并使用 Nesterov's 方法来加速计算。我们还展示了 Euclidean Projection 的解析和线性计算方法，并在多个数据集上验​​证了该算法的有效性。

May, 2012

本文提供了关于正则化 M - 估计器局部最优解的新理论结果，覆盖了许多感兴趣的非凸目标函数，包括误差 - 变量线性模型的校正套索方法，具有非凸罚项的广义线性模型回归，以及高维图模型估计，我们提供了误差的上限，证明了我们的理论结果，同时提出了一种简单的修改方法，使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解，这是任何一阶方法可能达到的最快速度。

May, 2013

提出了一种基于非参数估计的回归函数的主动学习算法，并对其在广泛的基础分布类上可达到的推广误差收敛速率提供了概率界限，同时证明了最小化下限，展示了获得的速率几乎是紧密的。

Apr, 2011

我们对两层回归问题进行了分析，使用了 softmax 激活单元作为第一层，并分析了近似牛顿法用于最小化正则化训练损失的收敛性质，证明了 Hessian 矩阵的损失函数是正定和 Lipschitz 连续的，在适当的初始化和迭代次数后，我们的算法可以高概率地找到训练损失的 ε- 近似最小化器。

Nov, 2023

研究采用随机梯度下降法训练的神经网络，通过对每一次迭代的训练标签进行独立噪声扰动，得到一个隐式正则化项，从而驱动网络向简单模型发展，并以矩阵感知、一维数据下的两层 ReLU 网络训练以及单数据点下的两层 sigmoid 激活网络训练等三个简单场景进行了阐述。

Apr, 2019