本文研究是否可以通过使用优化正则化方法避免双重下降现象。理论上，我们证明了对于某些线性回归模型，通过正则化可以实现测试性能的单调性增长，我们还通过实验证明了优化的正则化方法可以缓解双重下降现象。

Mar, 2020

本文从统计物理的角度研究了使用异方差神经回归模型对实际数据建模时遇到的困难，并且通过推导出的非参数自由能得出结论，证明了二阶段变化的存在，本文提供了异方差回归模型的理论解释，并提出一种优化正则化的方案。

Jun, 2023

该论文分析了神经网络模型对个别实例的处理方式，通过一致性得分来表征模型的预期准确度，并使用采样自数据分布的不同大小的训练集对多个数据集中的个别实例进行了实证估计，从而确定模型处理模式与模式的一致性，该方法可应用于分析深度学习系统中的过分拟合问题。

Feb, 2020

本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。

Jun, 2019

我们对基于正则化的连续学习在一系列线性回归任务中进行了统计分析，重点在于不同正则化项如何影响模型性能。我们推导了作为先验估计器的收敛速率，考虑了由矩阵值超参数索引的广义 l2 正则化算法族，包括最小范数估计器和连续岭回归作为特例。随着任务的增加，我们推导了广义 l2 正则化估计器的估计误差的迭代更新公式，从中确定了导致最佳算法的超参数。有趣的是，超参数的选择能够有效平衡前向和后向知识转移的权衡，并适应数据异质性。此外，我们明确地推导出最佳算法的估计误差，它与先验估计器的误差同阶。相比之下，我们的最小范数估计器和连续岭回归的下界显示了它们的子优性。我们的理论分析的副产品是提出了在连续学习中早停和广义 l2 正则化之间的等价性，这可能具有独立的研究价值。最后，我们进行实验以补充我们的理论。

Jun, 2024

通过使用梯度惩罚以及风险最小化，我们研究了满足不同单调性概念的预测器，介绍了一种方法来使用训练实例和随机点来扩展惩罚的范围，在不增加计算开销的同时，在图像分类和生成建模等领域实现了控制数据生成、检测异常数据和生成预测解释等的优势。

May, 2022

对机器学习中的正则化优化问题，针对单一参数模型（例如 SVM），提出了能够计算整个解路径的算法，但针对 SVM，在训练点数量较大时，其解路径的复杂度可能呈指数级增长。

Mar, 2009

本论文研究了机器学习中隐含的偏差及其对应的正则化解，并且根据理论证明我们使用的指数型损失函数的正则化效果，可达到最大保边缘的方向，相应的其他损失函数可能会导致收敛于边缘较差的方向。

Jun, 2020

研究了最优岭回归正则化和最优岭风险在离群分布预测中的行为，建立了决定协变量和回归变化下最优正则化水平符号的一般条件，并证明了在数据纵横比方面，即使在负正则化水平优化的情况下， 优化风险在离群分布设置中是单调递增的。

Apr, 2024

该论文提出了一种基于自适应框架的 CNN 正则化方法，在目标领域使用有限的训练数据进行迁移学习。该方法没有明确目标，通过简单地尝试将图像表示回归到伪回归目标，动态地对 CNN 进行正则化。实验结果表明，与最近的一些最先进的方法相比，伪任务正则化改进了分类精度。

Aug, 2019