本文研究表明，随着参数数量的增加，深度神经网络会呈现出 “双下降” 的特性，同时，随着训练时间的增长，也存在着 “按时间下降的双重下降” 效应，这在实践中导致训练时间过长，基于验证表现的早停可能导致非最优泛化。作者提出了一种可以从理论上解释 “按时间下降的双重下降” 的模型，并提供了两种方法来消除这种效应。通过理论分析和实验验证表明，消除缓慢学习特征或修改训练方式可以消除 “按时间下降的双重下降”，并且改善模型泛化性能。

Aug, 2021

在深度学习模型中，找到最佳大小对于节能取得高广泛影响。 通过恰当的条件，可能避免双下降现象，其中模型大小增长时性能会先变差然后变好，以维持高泛化的效果需要充分过参数化的模型，但添加太多参数会浪费培训资源。在复杂情况下，正则化已经对避免双下降产生了积极作用。

Feb, 2023

将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低了测试误差。本教程解释了双重下降的概念及其机制，并引入了具有关键作用的归纳偏差，通过选择一种平滑的经验风险最小化器，从多个插值解决方案中选择一个。最后，第三部分探讨了两个线性模型中的双重下降，并从最近相关的工作提供了其他视角。

Mar, 2024

通过优化视角，我们研究了模型智能双下降现象，提出了一种简单的基于优化的解释，同时证明了多样的因素对于模型智能双下降的贡献，并且通过一系列实验展示了这种基于优化的统一观点，从而得出结论：模型智能双下降在实际的机器学习环境中很不可能出现问题。

Dec, 2023

我们证明了现代深度学习任务表现出 “双峰下降” 现象，即随着模型大小的增加，性能先变差，然后变好。此外，我们发现双重下降不仅是模型大小的函数，而且是训练时期数的函数。我们通过定义一个我们称之为有效模型复杂度的新复杂度度量来统一以上现象，并猜测存在相对于该度量的广义双下降。此外，我们的模型复杂度概念使我们能够确定某些区域，在这些区域中，增加（甚至是四倍）的训练样本数量实际上会损害测试性能。

Dec, 2019

本文研究深度学习中的双下降现象，即当训练样本数 N 接近模型参数数 P 或者输入维度 D 时，神经网络的泛化误差会出现峰值，本文提供了理论解释，并探讨了非线性对此现象的影响及正则化方法的应用。

Jun, 2020

本论文发现并分析了只需要在全连接层之前添加一个 dropout 层，我们就可以轻松避免双峰下降现象。我们通过理论和实验证明，在线性回归模型和非线性随机特征回归中使用最优 dropout 可以缓解双峰下降现象，并通过 Fashion-MNIST 和 CIFAR-10 等数据集实验证明了最优 dropout 可以在非线性神经网络模型中实现单调测试误差曲线，并建议在遇到双峰下降现象时考虑风险曲线缩放以改善模型表现。同时，我们发现以往的深度学习模型之所以没有遇到双峰下降现象，是因为在这些模型中已经使用了 dropout 等常规正则化方法。据我们所知，这是第一篇分析 dropout 与双峰下降现象关系的论文。

May, 2023

研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。

Mar, 2020

本文研究了两个具有相同架构、使用相同算法和数据集训练的神经网络，发现在训练数据上，它们的输出差异表现出 “双峰现象”。通过广泛实验跨越各种任务、数据集和网络架构，我们证明了这种现象的普遍性。利用这种现象，我们提出了一种新的早期停止准则并开发了一种新的数据质量评估方法。我们的结果表明，基于现象的方法可以在理论理解和实际应用方面有益于深度学习研究。

May, 2023

在能效方案中，找到深度学习模型的最佳大小非常重要且具有广泛的影响。本文的研究目标是高效地寻找最佳折中方法，针对稀疏双下降现象提出了解决方案，包括使用 L2 正则化方法以及通过知识蒸馏来规范学生模型，实验结果表明这些方法可以避免该现象的发生。

Aug, 2023