Nov, 2023

二分类的正则化线性回归

PDF
TL;DR对于具有噪声标签的二元分类问题，正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下，假设类别是由高斯混合模型生成的，其中有一个小于 1/2 的比例的训练数据被误标记，我们严格分析了岭回归、L1 和 L∞回归应用时产生的分类错误。特别地，我们证明了岭回归总能改善分类错误。我们证明了 L1 正则化引起稀疏性，并观察到在许多情况下，不考虑 GMM 的稀疏结构，可以将解稀疏化两个数量级而不会有明显的性能损失。对于 L∞正则化，我们证明了对于足够大的正则化强度，最优权重集中在两个相反符号的值周围。我们观察到在许多情况下，将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。
regularized linear regressionbinary classification problemsregularization strengthmislabelingperformance improvement
发现论文，激发创造
  • 多类线性分类问题的一位量化和稀疏化：通过正则化回归

    利用线性回归在过参数化制度中进行多类别分类研究，分析了数据集中的标签错误对分类性能的影响，研究发现加入正则项可以避免过拟合错误标签，并证明了当正则函数为 2 - 范数时的最佳分类性能，同时还分析了 1 - 范数和无穷范数时的分类错误情况以及可能接近 2 - 范数解的稀疏和一位解。

    Feb, 2024

  • 关于正则化稀疏逻辑回归

    提出了解决稀疏逻辑回归和使用非凸惩罚项解决稀疏逻辑回归的优化框架，以同时进行分类和特征选择。通过实证实验，证明了所提算法在具有现实数据集的二分类任务中能够有效地进行分类和特征选择，且计算成本较低。

    Sep, 2023

  • 正则化对高维逻辑回归的影响

    本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。

    Jun, 2019

  • 超参数线性回归中的最优加权 L2 正则化

    本文对过参数线性模型中采用广义（加重）岭回归估计系数的预测风险进行了分析，并探讨了在偏好一定系数分布时参数的最优预测，以及过参数现象在主成分回归中的具体表现，进而提出了在无偏估计与最优正则化问题中，加权目标函数方法的优越性。

    Jun, 2020

  • 岭回归中的良性过拟合

    本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

    Sep, 2020

  • 高维同时支持恢复：块 $\ell_1/\ell_\infty$ 正则化的利与弊

    本文研究了采用 l1/l∞正则化回归方法对回归系数矩阵进行联合估计的高维缩放，分析了 l1/l∞正则化的一致性和变量选择。结果表明，l1/l∞正则化方法的使用需要谨慎，若数据不够符合其结构，则相较于计算量较低的方案会降低其统计性能。

    May, 2009

  • 稀疏回归用于机器翻译

    使用跨模型回归技术学习平行语料库的源和目标特征之间的映射，并将这些映射用于生成机器翻译输出，在选择正确的训练实例方面，我们引入了一种名为 dice 的实例选择方法，该方法在限定的计算资源和预期的准确性水平上起到了重要的作用。通过使用 $L_1$ 正则化回归，我们展示了在回归测量和使用图解码进行翻译实验时，其性能优于 $L_2$ 正则化回归。我们在从德语到英语和西班牙语到英语的翻译中呈现了令人鼓舞的结果，并演示了用回归模型发现的映射替换短语解码器的短语表的结果。

    Jun, 2024

  • 学习核的 L2 正则化

    本文研究了使用 L2 正则化学习相同内核类族的内核以及使用 Ridge 回归学习内核的问题。作者得出了优化问题的解决方案，并提出了一种有效的迭代算法来计算该解决方案。此外，该文基于稳定性进行了一项新颖的理论分析，并给出了包含仅有一个加性项 O（pp/m）的正交内核的学习界，当与标准内核 Ridge 回归稳定性界进行比较时。我们的实验结果表明，L1 正则化可以在少量的内核中带来适度的改进，但在大规模情况下的性能降低，而 L2 正则化在大量内核下实现了显著的性能改进。

    May, 2012

  • 正则化和非正则化经验风险最小化的高维分类：精确误差和最优损失

    本文通过理论分析，在高维数据考虑时，通过经验风险最小化框架的分类性能，针对两类高斯混合问题，提出了精确的分类误差预测，并且提出了在岭正则化和非正则化的情况下，都采用简单的平方损失作为高维分类的最优选择。

    May, 2019

  • 过参数化情况下的分类与回归：损失函数是否重要？

    这篇研究论文探讨了使用高斯特征的超参数化线性模型在分类和回归任务中的表现，发现当过度参数化时，所有训练点都成为支持向量，从而演化出一个法向量的模型，比起普通的最小二乘法和解决分类问题的 SVM，更适用于两者的情况，并讨论了在不同 loss function 下，训练（优化）和测试（归纳）階段使用的方法的不同作用和特性。

    May, 2020