本文探讨现代高复杂度学习者的风险曲线，讨论风险曲线与学习器复杂度的关系，特别是所谓的双重下降现象，这一现象历史上早已被了解并已应用于当今的机器学习领域。

Apr, 2020

传统统计学智慧揭示了模型复杂度和预测误差之间的关系，但最近的研究提出了双峰现象的理论，即在参数个数超过样本大小时，测试误差会出现第二次下降。本研究挑战了此理论，并通过对经典统计机器学习方法的细致研究，提出了双峰现象的解释，认为其位置与插值阈值无直接关联，并且通过采用非参数统计学的视角，证明其曲线实际上符合传统的凸形状，解决了双峰现象和统计直觉之间的矛盾。

Oct, 2023

将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低了测试误差。本教程解释了双重下降的概念及其机制，并引入了具有关键作用的归纳偏差，通过选择一种平滑的经验风险最小化器，从多个插值解决方案中选择一个。最后，第三部分探讨了两个线性模型中的双重下降，并从最近相关的工作提供了其他视角。

Mar, 2024

本文考虑使用随机特征空间，在测度无限趋近于无限，特征维度和样本量趋近于无穷大的情况下，利用结果回归模型和双下降现象等关键词解释深度学习模型中的奇妙现象。

Aug, 2019

研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

Nov, 2019

本篇论文提出了一个回归模型的理论，在训练数据中具有比数据点更多的参数，这种模型被称为过度参数化模型，有能力插值训练数据，最好的模型是过度参数化的，与模型阶数呈双峰形。我们分析了最小二乘问题的最小化的解的内插模型，以及使用岭回归进行模型拟合的情况。同时也提出了一个基于回归矩阵最小奇异值行为的结果，可以解释测试误差随模型阶数的峰值位置和双峰形状。

Apr, 2023

本论文发现并分析了只需要在全连接层之前添加一个 dropout 层，我们就可以轻松避免双峰下降现象。我们通过理论和实验证明，在线性回归模型和非线性随机特征回归中使用最优 dropout 可以缓解双峰下降现象，并通过 Fashion-MNIST 和 CIFAR-10 等数据集实验证明了最优 dropout 可以在非线性神经网络模型中实现单调测试误差曲线，并建议在遇到双峰下降现象时考虑风险曲线缩放以改善模型表现。同时，我们发现以往的深度学习模型之所以没有遇到双峰下降现象，是因为在这些模型中已经使用了 dropout 等常规正则化方法。据我们所知，这是第一篇分析 dropout 与双峰下降现象关系的论文。

May, 2023

本文针对过度参数的最小范数线性估计器的双下降现象，借助一种称为代理随机设计的特殊确定点过程进行研究，该代理设计允许对估计器的平均平方误差进行精确表示，并且我们证明了对于代理设计，未正则化的最小范数估计器的隐式偏置恰好对应于在总体分布上解决岭正则化最小二乘问题的解。

Dec, 2019

该研究探讨了可变参数模型家族中线性回归的泛化损失，证明了一般化曲线可以有任意数量的峰值，并且这些峰值位置可以明确地受到控制。结果表明，经典的 U 形一般化曲线和最近观察到的双下降曲线不是模型家族的固有属性，而是由数据和学习算法的归纳偏差相互作用所导致的。

Aug, 2020

本文在一个简单的样例中证明了双下降现象在欠参数化的情况下确实存在，同时探讨了岭回归正则化对模型泛化误差和范数的影响以及两种正则化方法之间的相互作用，结果表明它们不完全等效。

May, 2023