Apr, 2023

插值回归模型和双下降现象分析

PDF
TL;DR本篇论文提出了一个回归模型的理论，在训练数据中具有比数据点更多的参数，这种模型被称为过度参数化模型，有能力插值训练数据，最好的模型是过度参数化的，与模型阶数呈双峰形。我们分析了最小二乘问题的最小化的解的内插模型，以及使用岭回归进行模型拟合的情况。同时也提出了一个基于回归矩阵最小奇异值行为的结果，可以解释测试误差随模型阶数的峰值位置和双峰形状。
overparametrizeddouble descent phenomenonleast-squares problemregression modelmodel order
发现论文，激发创造
  • 岭正则化最小二乘线性数据去噪的欠参数化双丘降现象

    本文在一个简单的样例中证明了双下降现象在欠参数化的情况下确实存在，同时探讨了岭回归正则化对模型泛化误差和范数的影响以及两种正则化方法之间的相互作用，结果表明它们不完全等效。

    May, 2023

  • 深度学习中的双下降现象理解

    将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低了测试误差。本教程解释了双重下降的概念及其机制，并引入了具有关键作用的归纳偏差，通过选择一种平滑的经验风险最小化器，从多个插值解决方案中选择一个。最后，第三部分探讨了两个线性模型中的双重下降，并从最近相关的工作提供了其他视角。

    Mar, 2024

  • 用代理随机设计的双重下降和隐式正则化的精确表达式

    本文针对过度参数的最小范数线性估计器的双下降现象，借助一种称为代理随机设计的特殊确定点过程进行研究，该代理设计允许对估计器的平均平方误差进行精确表示，并且我们证明了对于代理设计，未正则化的最小范数估计器的隐式偏置恰好对应于在总体分布上解决岭正则化最小二乘问题的解。

    Dec, 2019

  • 统计学习中关于参数计数的重新思考：双下降的转向

    传统统计学智慧揭示了模型复杂度和预测误差之间的关系，但最近的研究提出了双峰现象的理论，即在参数个数超过样本大小时，测试误差会出现第二次下降。本研究挑战了此理论，并通过对经典统计机器学习方法的细致研究，提出了双峰现象的解释，认为其位置与插值阈值无直接关联，并且通过采用非参数统计学的视角，证明其曲线实际上符合传统的凸形状，解决了双峰现象和统计直觉之间的矛盾。

    Oct, 2023

  • 双峰下的双重麻烦：懒惰模式中的偏差与方差

    研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。

    Mar, 2020

  • 线性回归中更多的数据可能会产生负面效果：样本逐步双峰曲线

    在高参数化线性回归领域中，出现了一个令人惊讶的现象，即当样本数少于特征维数时，测试误差会随着样本增加而增加，即更多的数据反而会伤害估计器。该现象是近期理论研究分析线性模型中 “双下降” 现象的一部分。在本文中，我们以线性回归为预测模型，通过对具有各向同性高斯协方差矩阵的数据集进行分析，对该现象进行了总结和阐述。

    Dec, 2019

  • 岭回归中的良性过拟合

    本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

    Sep, 2020

  • 随机特征回归的泛化误差：精确渐近性和双下降曲线

    本文考虑使用随机特征空间，在测度无限趋近于无限，特征维度和样本量趋近于无穷大的情况下，利用结果回归模型和双下降现象等关键词解释深度学习模型中的奇妙现象。

    Aug, 2019

  • 解开双下降之谜：通过学习特征空间的深入分析

    通过对学习表征的特征空间进行全面分析，我们揭示了双下降现象是在用带有噪声数据训练的不完美模型中产生的，它首先通过拟合噪声数据进行学习，然后通过超参数化添加隐式正则化，从而具备了将信息与噪声分离的能力。我们推断双下降现象不应该在经过良好正则化的模型中发生。

    Oct, 2023

  • 从超参数化机器学习理论的角度看偏差 - 方差折中问题的再思考

    本文概述了 “过参数化机器学习” 的新理论，通过统计信号处理的角度解释最近研究发现的相应现象和结果，着重强调了这个研究领域的独特性和开放的问题。

    Sep, 2021