在能效方案中，找到深度学习模型的最佳大小非常重要且具有广泛的影响。本文的研究目标是高效地寻找最佳折中方法，针对稀疏双下降现象提出了解决方案，包括使用 L2 正则化方法以及通过知识蒸馏来规范学生模型，实验结果表明这些方法可以避免该现象的发生。

Aug, 2023

该论文研究了双下降现象在两层神经网络中的作用，重点关注了 L1 正则化和表示维度的作用。研究探讨了稀疏双下降这一替代的双下降现象，并强调了模型复杂度、稀疏性和泛化之间的复杂关系，建议进一步研究更多样化的模型和数据集。这些发现有助于深入理解神经网络的训练和优化。

Jan, 2024

在深度学习模型中，找到最佳大小对于节能取得高广泛影响。 通过恰当的条件，可能避免双下降现象，其中模型大小增长时性能会先变差然后变好，以维持高泛化的效果需要充分过参数化的模型，但添加太多参数会浪费培训资源。在复杂情况下，正则化已经对避免双下降产生了积极作用。

Feb, 2023

本文分析了过参数化模型剪枝中的双重下降现象，提出了在某些情况下，训练大型模型再进行剪枝比仅使用已知信息更好的理论证明，同时也发现了重新训练的好处以及在线性和随机特征模型中已经存在这些现象，这进一步促进了高维分析工具的发展。

Dec, 2020

将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低了测试误差。本教程解释了双重下降的概念及其机制，并引入了具有关键作用的归纳偏差，通过选择一种平滑的经验风险最小化器，从多个插值解决方案中选择一个。最后，第三部分探讨了两个线性模型中的双重下降，并从最近相关的工作提供了其他视角。

Mar, 2024

通过优化视角，我们研究了模型智能双下降现象，提出了一种简单的基于优化的解释，同时证明了多样的因素对于模型智能双下降的贡献，并且通过一系列实验展示了这种基于优化的统一观点，从而得出结论：模型智能双下降在实际的机器学习环境中很不可能出现问题。

Dec, 2023

本文探讨了过度参数化模型，特别是深度神经网络，在训练期间错误率的演化现象，其原因是来自于不同部分在不同时期学习带来的偏差 - 方差权衡嵌套问题。通过合理调整步长，可以显著提高早停指标。

Jul, 2020

Vision transformers are state-of-the-art models that use attention to identify key features in images, but their performance regarding sparse double descent and the optimal model size remains unknown.

Jul, 2023

该研究可以通过不同的修剪比率来影响模型的梯度下降动态和泛化性能，但是过高的修剪比率可能会导致模型性能下降，从而导致模型无法学习到有用的特征。

Jan, 2023

通过对学习表征的特征空间进行全面分析，我们揭示了双下降现象是在用带有噪声数据训练的不完美模型中产生的，它首先通过拟合噪声数据进行学习，然后通过超参数化添加隐式正则化，从而具备了将信息与噪声分离的能力。我们推断双下降现象不应该在经过良好正则化的模型中发生。

Oct, 2023