本文提出了“双下降”风险曲线，用于定性描述可变参数机器学习模型的样本外预测准确性。通过对最小二乘 / 最小规范预测器的两个简单数据模型进行精确的数学分析，显示出风险在特征数$p$接近样本数$n$时达到峰值，但随着$p$超过$n$而逐渐降低至最小值。而这种行为则和需要提前确定最优特征序列的“先知”模型有所不同。

Mar, 2019

研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。

Mar, 2020

深度学习模型参数通常大于所需，然而其测试误差在过拟合阈值附近有极值和下降，在过参数化区间反而下降，神经切向核模型可以提供有关真实神经网络的细节。

Aug, 2020

本文使用影响函数来推导适当的人群损失和下界表达式，研究了损失函数对双下降的影响，发现神经网络和其Hessian光谱在插值阈值附近存在有趣的属性。

Mar, 2022

在自监督模型中，双下降现象可能不存在，两种未被研究的设置（标准自编码器和线性自编码器）的测试损失曲线分别为经典的U形或单调递减形，这一结果帮助我们更好地认识此现象的理论基础。

Jul, 2023

通过对学习表征的特征空间进行全面分析，我们揭示了双下降现象是在用带有噪声数据训练的不完美模型中产生的，它首先通过拟合噪声数据进行学习，然后通过超参数化添加隐式正则化，从而具备了将信息与噪声分离的能力。我们推断双下降现象不应该在经过良好正则化的模型中发生。

Oct, 2023

将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低了测试误差。本教程解释了双重下降的概念及其机制，并引入了具有关键作用的归纳偏差，通过选择一种平滑的经验风险最小化器，从多个插值解决方案中选择一个。最后，第三部分探讨了两个线性模型中的双重下降，并从最近相关的工作提供了其他视角。

Mar, 2024

该研究重新审视了双下降现象，探讨其发生条件，并引入类激活矩阵的概念和一种估计函数有效复杂性的方法，揭示超参数化模型在隐藏激活中展现出更明显和更简单的类别模式。通过全面分析并提供相应的实证证据来验证或反驳这些假设，旨在为双下降现象和良性超参数化提供新的洞察，并促进未来的探索。

May, 2024

在无监督学习中研究双重下降现象，通过使用欠完备的自编码器进行实验，发现双重下降现象存在于多个应用中，并对异常和领域转移进行检测和缓解，结果表明过参数化模型不仅在重构方面表现出更好的性能，还增强了下游任务的能力。

Jun, 2024

对两层线性神经网络中的epoch-wise双下降现象进行研究，通过推导出标准线性回归模型的学习动力学和具有二次权重的线性两层对角网络之间的梯度流，识别了额外的导致epoch-wise双下降的因素，进而引出了对真正深度模型的未知因素的进一步问题。

Jul, 2024