Mar, 2021

通过偏差 - 方差分解了解对抗训练的泛化

PDF
TL;DR通过偏差方差分解研究对抗性训练扰动半径对模型测试误差的影响，发现模型的偏差随扰动半径增加单调增加，方差则在训练集插值阈值附近单峰；同时，偏差和方差可用于指导缩小泛化间隔的方法，即预训练和使用无标签数据。
adversarial traininggeneralization gapbias-variance decompositionperturbation radiiunlabeled data
发现论文，激发创造
  • 理解双重下降需要进行精细的偏差 - 方差分解

    通过对方差进行可解释的对称分解，探讨了深度学习算法的偏差与方差之间的关系，发现随着网络宽度的增加，偏差单调下降，但方差存在非单调行为，并可以通过集成学习消除互作用导致的方差发散。

    Nov, 2020

  • 更多数据可能扩大对抗性鲁棒模型和标准模型之间的泛化差距

    针对现代机器学习模型易受到对人类不可察觉的攻击的问题，采用对抗培训来学习鲁棒模型的代价是在未被扰动的测试集上存在更高的泛化误差，此研究证明更多的数据可能会增加鲁棒分类器与标准分类器泛化误差的差距并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距，此现象也出现在线性回归模型中。

    Feb, 2020

  • 对深度模型中的偏差和方差重新审视：一种对齐而非权衡的模式

    机器学习的经典智慧认为泛化误差可以从偏差和方差两个方面进行分解，并且这两个术语之间存在一种权衡关系。然而，在本文中，我们展示了对于由深度学习为基础的分类模型集合，偏差和方差在样本级别上是一致的，其中对于正确分类的样本点，平方偏差近似等于方差。我们通过实证证据在多种深度学习模型和数据集上验证了这一现象。此外，我们从两个理论角度研究了这一现象：校准和神经坍缩。我们首先理论上证明在模型被很好地校准的假设下，我们可以观察到偏差 - 方差一致性。其次，从神经坍缩理论提供的视角出发，我们展示了偏差和方差之间的近似相关性。

    Oct, 2023

  • 双峰下的双重麻烦：懒惰模式中的偏差与方差

    研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。

    Mar, 2020

  • 通过偏差方差分解实现对抗鲁棒性：联邦学习的新视角

    该研究提出了一个名为 Fed_BVA 的对抗鲁棒联邦学习框架，改进了服务器和客户端更新机制，通过最大化服务器更新期间的偏差和方差生成对抗性示例，并在客户端更新期间学习这些示例的对抗性鲁棒模型更新。实验证明，该框架对 IID 和非 IID 情况下的白盒和黑盒对抗性破坏具有鲁棒性。

    Sep, 2020

  • 分类中分布参数与准确性 - 稳健性权衡的相互作用

    本文研究了在对抗训练中通过二元高斯混合分类问题的分析，得到最优贝叶斯分类器和最优对抗分类器之间的区别，并研究了不同分布参数（类别中心之间的距离、类别比例和协方差矩阵）对精度差异的影响，提出在一定条件下，平衡类别可以实现对抗分类器的自然误差和精度差距的局部最优化，并证明在最坏情况下精度差距为 Theta（epsilon^2），这在理论上表明了实现近乎完美精度的强健分类器的可能性，这在实际算法中很少体现。

    Jul, 2021

  • 关于对抗训练的泛化性质

    本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

    Aug, 2020

  • 自由对抗性训练中的稳定性和泛化能力

    通过算法稳定性框架研究了对抗性训练方法的泛化性能，发现自由对抗性训练方法具有较低的训练和测试样本之间的泛化差距，并且具有更好的鲁棒性对抗黑盒攻击。

    Apr, 2024

  • 关于强健的过拟合：对抗训练引起的分布问题

    该研究论文探讨了对抗训练中的鲁棒性过拟合现象及其与扰动诱导分布的泛化困难性之间的相关性，提供了一个新的上界，其中称为 “局部离散性” 的扰动算子发挥了重要作用。

    Nov, 2023

  • 对抗鲁棒模型的好奇案例：更多的数据可以帮助，双下降，还是伤害泛化能力

    本文研究对抗训练在分类问题的应用，发现更多的训练数据可能会损害对抗准确性模型的泛化能力，特别在存在强对抗时更加明显，给出了针对线性和二维分类问题的实验支持。

    Feb, 2020