Aug, 2020

多重下降：设计自己的泛化曲线

PDF
TL;DR该研究探讨了可变参数模型家族中线性回归的泛化损失，证明了一般化曲线可以有任意数量的峰值，并且这些峰值位置可以明确地受到控制。结果表明，经典的 U 形一般化曲线和最近观察到的双下降曲线不是模型家族的固有属性，而是由数据和学习算法的归纳偏差相互作用所导致的。
generalization losslinear regressionparameterized modelsinductive biasesdouble descent curve
发现论文，激发创造
  • 岭正则化最小二乘线性数据去噪的欠参数化双丘降现象

    本文在一个简单的样例中证明了双下降现象在欠参数化的情况下确实存在，同时探讨了岭回归正则化对模型泛化误差和范数的影响以及两种正则化方法之间的相互作用，结果表明它们不完全等效。

    May, 2023

  • 弱特征的双下降模型

    本文提出了 “双下降” 风险曲线，用于定性描述可变参数机器学习模型的样本外预测准确性。通过对最小二乘 / 最小规范预测器的两个简单数据模型进行精确的数学分析，显示出风险在特征数 $p$ 接近样本数 $n$ 时达到峰值，但随着 $p$ 超过 $n$ 而逐渐降低至最小值。而这种行为则和需要提前确定最优特征序列的 “先知” 模型有所不同。

    Mar, 2019

  • 高维神经切向核：三倍下降与广义化的多尺度理论

    深度学习模型参数通常大于所需，然而其测试误差在过拟合阈值附近有极值和下降，在过参数化区间反而下降，神经切向核模型可以提供有关真实神经网络的细节。

    Aug, 2020

  • 随机特征回归的泛化误差：精确渐近性和双下降曲线

    本文考虑使用随机特征空间，在测度无限趋近于无限，特征维度和样本量趋近于无穷大的情况下，利用结果回归模型和双下降现象等关键词解释深度学习模型中的奇妙现象。

    Aug, 2019

  • 高维核回归：超越双谷现象的细致分析

    该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

    Oct, 2020

  • 统计学习中关于参数计数的重新思考：双下降的转向

    传统统计学智慧揭示了模型复杂度和预测误差之间的关系，但最近的研究提出了双峰现象的理论，即在参数个数超过样本大小时，测试误差会出现第二次下降。本研究挑战了此理论，并通过对经典统计机器学习方法的细致研究，提出了双峰现象的解释，认为其位置与插值阈值无直接关联，并且通过采用非参数统计学的视角，证明其曲线实际上符合传统的凸形状，解决了双峰现象和统计直觉之间的矛盾。

    Oct, 2023

  • 插值回归模型和双下降现象分析

    本篇论文提出了一个回归模型的理论，在训练数据中具有比数据点更多的参数，这种模型被称为过度参数化模型，有能力插值训练数据，最好的模型是过度参数化的，与模型阶数呈双峰形。我们分析了最小二乘问题的最小化的解的内插模型，以及使用岭回归进行模型拟合的情况。同时也提出了一个基于回归矩阵最小奇异值行为的结果，可以解释测试误差随模型阶数的峰值位置和双峰形状。

    Apr, 2023

  • 高维二元线性分类问题的双重下降模型

    研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

    Nov, 2019

  • 双重衰退的简要史

    本文探讨现代高复杂度学习者的风险曲线，讨论风险曲线与学习器复杂度的关系，特别是所谓的双重下降现象，这一现象历史上早已被了解并已应用于当今的机器学习领域。

    Apr, 2020

  • 核岭回归在幂律衰减下的渐近学习曲线

    在这篇论文中，我们在温和且更现实的假设下，对学习曲线进行了全面的描述，详细阐述了正则化参数、源条件和噪声的选择对学习曲线的影响和相互作用。特别地，我们的结果表明，在噪声水平较小时，' 良性过拟合现象 ' 只存在于非常宽的神经网络中。

    Sep, 2023