对于具有噪声标签的二元分类问题，正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下，假设类别是由高斯混合模型生成的，其中有一个小于 1/2 的比例的训练数据被误标记，我们严格分析了岭回归、L1 和 L∞回归应用时产生的分类错误。特别地，我们证明了岭回归总能改善分类错误。我们证明了 L1 正则化引起稀疏性，并观察到在许多情况下，不考虑 GMM 的稀疏结构，可以将解稀疏化两个数量级而不会有明显的性能损失。对于 L∞正则化，我们证明了对于足够大的正则化强度，最优权重集中在两个相反符号的值周围。我们观察到在许多情况下，将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。

Nov, 2023

本文提出了一种正则化分类感知量化的算法，该算法通过在重构误差上进行正则化 0-1 损失，用于二元分类任务，性能比文献中的基准量化方案更优，并能在未见数据上快速处理。

Jul, 2021

本研究提出了一种方法，通过减小样本复杂度，提高了各种曲线拟合问题包括线性回归、多项式回归和连续稀疏傅里叶变换的活性学习中的解的精度。

Nov, 2017

本文提供了一个简单有效的算法来解决稀疏鲁棒线性回归问题，即从被稀疏噪声干扰的线性测量中估计一个稀疏的向量，对于高斯测量，基于 L1 回归的简单算法可以成功地估计任何小于 0.239 的锁定率，而该算法所需的测量数为 O (klog (n/k)) 个，能够同时估计稀疏和稠密的 w*，容忍大常数分数的离群值和对抗性而非分配性（例如，高斯）稠密噪声。

Sep, 2018

研究基于正则化函数的凸函数估计的性质，给出 $L_2$ 估计误差速率的界限，包括 True Model 的复杂度，应用于不同的正则化函数，结果适用于学习理论框架。

Aug, 2016

本文通过理论分析，在高维数据考虑时，通过经验风险最小化框架的分类性能，针对两类高斯混合问题，提出了精确的分类误差预测，并且提出了在岭正则化和非正则化的情况下，都采用简单的平方损失作为高维分类的最优选择。

May, 2019

研究了高维线性回归在对抗性污染下的稳健模型问题，并针对从高斯分布生成的未被修正的样本的基本情况给出了几乎最紧的上界和计算下界。

May, 2018

这篇研究论文探讨了使用高斯特征的超参数化线性模型在分类和回归任务中的表现，发现当过度参数化时，所有训练点都成为支持向量，从而演化出一个法向量的模型，比起普通的最小二乘法和解决分类问题的 SVM，更适用于两者的情况，并讨论了在不同 loss function 下，训练（优化）和测试（归纳）階段使用的方法的不同作用和特性。

May, 2020

研究了高维混合的两个高斯类在噪声条件下的学习，正则化方法可以让分类器达到贝叶斯最优性能，同时分析了正则化程度的影响。

Feb, 2020

本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

Mar, 2018