将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低了测试误差。本教程解释了双重下降的概念及其机制，并引入了具有关键作用的归纳偏差，通过选择一种平滑的经验风险最小化器，从多个插值解决方案中选择一个。最后，第三部分探讨了两个线性模型中的双重下降，并从最近相关的工作提供了其他视角。

Mar, 2024

该研究重新审视了双下降现象，探讨其发生条件，并引入类激活矩阵的概念和一种估计函数有效复杂性的方法，揭示超参数化模型在隐藏激活中展现出更明显和更简单的类别模式。通过全面分析并提供相应的实证证据来验证或反驳这些假设，旨在为双下降现象和良性超参数化提供新的洞察，并促进未来的探索。

May, 2024

在无监督学习中研究双重下降现象，通过使用欠完备的自编码器进行实验，发现双重下降现象存在于多个应用中，并对异常和领域转移进行检测和缓解，结果表明过参数化模型不仅在重构方面表现出更好的性能，还增强了下游任务的能力。

Jun, 2024

本文研究表明，随着参数数量的增加，深度神经网络会呈现出 “双下降” 的特性，同时，随着训练时间的增长，也存在着 “按时间下降的双重下降” 效应，这在实践中导致训练时间过长，基于验证表现的早停可能导致非最优泛化。作者提出了一种可以从理论上解释 “按时间下降的双重下降” 的模型，并提供了两种方法来消除这种效应。通过理论分析和实验验证表明，消除缓慢学习特征或修改训练方式可以消除 “按时间下降的双重下降”，并且改善模型泛化性能。

Aug, 2021

该论文研究了双下降现象在两层神经网络中的作用，重点关注了 L1 正则化和表示维度的作用。研究探讨了稀疏双下降这一替代的双下降现象，并强调了模型复杂度、稀疏性和泛化之间的复杂关系，建议进一步研究更多样化的模型和数据集。这些发现有助于深入理解神经网络的训练和优化。

Jan, 2024

通过优化视角，我们研究了模型智能双下降现象，提出了一种简单的基于优化的解释，同时证明了多样的因素对于模型智能双下降的贡献，并且通过一系列实验展示了这种基于优化的统一观点，从而得出结论：模型智能双下降在实际的机器学习环境中很不可能出现问题。

Dec, 2023

本篇论文提出了一个回归模型的理论，在训练数据中具有比数据点更多的参数，这种模型被称为过度参数化模型，有能力插值训练数据，最好的模型是过度参数化的，与模型阶数呈双峰形。我们分析了最小二乘问题的最小化的解的内插模型，以及使用岭回归进行模型拟合的情况。同时也提出了一个基于回归矩阵最小奇异值行为的结果，可以解释测试误差随模型阶数的峰值位置和双峰形状。

Apr, 2023

在深度学习模型中，找到最佳大小对于节能取得高广泛影响。 通过恰当的条件，可能避免双下降现象，其中模型大小增长时性能会先变差然后变好，以维持高泛化的效果需要充分过参数化的模型，但添加太多参数会浪费培训资源。在复杂情况下，正则化已经对避免双下降产生了积极作用。

Feb, 2023

本文针对过度参数的最小范数线性估计器的双下降现象，借助一种称为代理随机设计的特殊确定点过程进行研究，该代理设计允许对估计器的平均平方误差进行精确表示，并且我们证明了对于代理设计，未正则化的最小范数估计器的隐式偏置恰好对应于在总体分布上解决岭正则化最小二乘问题的解。

Dec, 2019

传统统计学智慧揭示了模型复杂度和预测误差之间的关系，但最近的研究提出了双峰现象的理论，即在参数个数超过样本大小时，测试误差会出现第二次下降。本研究挑战了此理论，并通过对经典统计机器学习方法的细致研究，提出了双峰现象的解释，认为其位置与插值阈值无直接关联，并且通过采用非参数统计学的视角，证明其曲线实际上符合传统的凸形状，解决了双峰现象和统计直觉之间的矛盾。

Oct, 2023