Oct, 2023

对深度模型中的偏差和方差重新审视：一种对齐而非权衡的模式

PDF
TL;DR机器学习的经典智慧认为泛化误差可以从偏差和方差两个方面进行分解，并且这两个术语之间存在一种权衡关系。然而，在本文中，我们展示了对于由深度学习为基础的分类模型集合，偏差和方差在样本级别上是一致的，其中对于正确分类的样本点，平方偏差近似等于方差。我们通过实证证据在多种深度学习模型和数据集上验证了这一现象。此外，我们从两个理论角度研究了这一现象：校准和神经坍缩。我们首先理论上证明在模型被很好地校准的假设下，我们可以观察到偏差 - 方差一致性。其次，从神经坍缩理论提供的视角出发，我们展示了偏差和方差之间的近似相关性。
发现论文，激发创造
  • 调和现代机器学习实践与偏差 - 方差平衡

    本文中，我们通过统一的性能曲线，协调了传统理解与现代实践，它包含了传统的 U 形偏差 - 方差权衡曲线，这个被称为 “双下降” 曲线的统计证据，证明了其存在于各种模型和数据集中，并推断了其出现机制。通过机器学习模型性能与结构之间的联系，勾勒出了传统分析的局限性，对机器学习的理论和实践都有重要意义。

    Dec, 2018

  • 理解双重下降需要进行精细的偏差 - 方差分解

    通过对方差进行可解释的对称分解，探讨了深度学习算法的偏差与方差之间的关系，发现随着网络宽度的增加，偏差单调下降，但方差存在非单调行为，并可以通过集成学习消除互作用导致的方差发散。

    Nov, 2020

  • 神经网络中偏差 - 方差平衡的现代看法

    研究神经网络中模型复杂度、测试误差曲线、参数数量等因素对偏差 - 方差权衡的影响，证实其与传统理论不同，可以通过增大参数数量来降低偏差和方差。

    Oct, 2018

  • 重新思考偏差 - 方差权衡对神经网络泛化的影响

    通过对神经网络的偏差和方差进行测量，我们为超参数模型和神经网络等过参数化模型比经典理论更好地泛化提供了简单的解释，发现方差会随网络宽度呈现单峰或钟形曲线，而偏差则像经典理论一样单调递减，另外更深的网络能够同时降低偏差和提高方差。

    Feb, 2020

  • 双峰下的双重麻烦：懒惰模式中的偏差与方差

    研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。

    Mar, 2020

  • 测量两次，裁剪一次：量化深度神经网络中的偏差和公平性

    本文提出了两个简单而有效的度量标准，Combined Error Variance (CEV) 和 Symmetric Distance Error (SDE)，以定量评估两个模型的类别偏差相对多少。 通过评估这些新指标的性能并展示它们的实际应用，我们证明它们不仅可以用于衡量公平性，而且还可以用于衡量偏差。 这些演示表明，我们的指标可以满足在多类分类中衡量偏差的特定需求。

    Oct, 2021

  • 公平与稳定性：估计方差是朋友还是敌人？

    本文讨论了估计器误差分解中的偏差项、方差项和不可避免噪声项， 研究了社会特权和社会劣势群体的公平性问题，并提出了一种基于组间方差的性能度量方法。同时，研发了一个开源库，将不确定性量化技术与公平性分析融合，并在标准基准测试上对基于方差的公平性度量方法进行了全面的实证分析。

    Feb, 2023

  • 通过偏差 - 方差分解了解对抗训练的泛化

    通过偏差方差分解研究对抗性训练扰动半径对模型测试误差的影响，发现模型的偏差随扰动半径增加单调增加，方差则在训练集插值阈值附近单峰；同时，偏差和方差可用于指导缩小泛化间隔的方法，即预训练和使用无标签数据。

    Mar, 2021

  • 公平分类中的方差、自一致性和任意性

    本文介绍了一种关于在公平分类中使用集成算法，解决分类结果不稳定导致任意性和观点关于公平性的不可靠等问题。实验结果表明，我们的方法可以显著降低子组误差率差异，无需使用常见的公平性干预措施。

    Jan, 2023

  • 机器学习基准测试中方差的考虑

    通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

    Mar, 2021