通过对神经网络的偏差和方差进行测量，我们为超参数模型和神经网络等过参数化模型比经典理论更好地泛化提供了简单的解释，发现方差会随网络宽度呈现单峰或钟形曲线，而偏差则像经典理论一样单调递减，另外更深的网络能够同时降低偏差和提高方差。

Feb, 2020

本文中，我们通过统一的性能曲线，协调了传统理解与现代实践，它包含了传统的 U 形偏差 - 方差权衡曲线，这个被称为 “双下降” 曲线的统计证据，证明了其存在于各种模型和数据集中，并推断了其出现机制。通过机器学习模型性能与结构之间的联系，勾勒出了传统分析的局限性，对机器学习的理论和实践都有重要意义。

Dec, 2018

机器学习的经典智慧认为泛化误差可以从偏差和方差两个方面进行分解，并且这两个术语之间存在一种权衡关系。然而，在本文中，我们展示了对于由深度学习为基础的分类模型集合，偏差和方差在样本级别上是一致的，其中对于正确分类的样本点，平方偏差近似等于方差。我们通过实证证据在多种深度学习模型和数据集上验证了这一现象。此外，我们从两个理论角度研究了这一现象：校准和神经坍缩。我们首先理论上证明在模型被很好地校准的假设下，我们可以观察到偏差 - 方差一致性。其次，从神经坍缩理论提供的视角出发，我们展示了偏差和方差之间的近似相关性。

Oct, 2023

研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。

Mar, 2020

通过对方差进行可解释的对称分解，探讨了深度学习算法的偏差与方差之间的关系，发现随着网络宽度的增加，偏差单调下降，但方差存在非单调行为，并可以通过集成学习消除互作用导致的方差发散。

Nov, 2020

本文研究了神经网络训练过程中的表现差异性，找出了其来源，证明了其不可避免的存在性，并通过初步研究从各个方面探讨了训练初值、数据扩增和学习率等方面的影响。

Apr, 2023

通过偏差方差分解研究对抗性训练扰动半径对模型测试误差的影响，发现模型的偏差随扰动半径增加单调增加，方差则在训练集插值阈值附近单峰；同时，偏差和方差可用于指导缩小泛化间隔的方法，即预训练和使用无标签数据。

Mar, 2021

本文首次对神经网络的自动语音识别训练中方案变化导致的方差进行了广泛的实证研究，结果强调文献中结果报道和解释的急需重新思考和评估。

Jun, 2016

通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

Mar, 2021

神经网络的广义化误差存在双下降现象，高度过参数化的模型能够避免过拟合并实现良好的测试性能，与统计学习理论所描述的标准偏差 - 方差权衡相违背。本研究探索了这一现象与神经网络所表示的函数的复杂性和敏感性之间的联系，特别关注随机特征模型的简单教师 - 学生设置，利用重复方法进行理论分析，给出了布尔平均维数的解释性表达式，在数据点数目、特征数目和输入尺寸趋近无穷大的高维情况下导出。我们发现，随着网络过参数化程度的增加，布尔平均维数在插值阈值处达到峰值，与广义化误差峰值相对应，然后缓慢趋于一个较低的渐近值。在不同模型类别和训练设置的数值实验中得出相同的现象学现象。此外，我们经验性地发现，对抗初始化的模型往往具有较高的布尔平均维数值，而对抗攻击更强大的模型则显示出较低的布尔平均维数。

Jan, 2024