ICMLFeb, 2020

理解和减轻稳健性与准确性之间的权衡

PDF
TL;DR本研究通过对线性回归中对最优线性预测器进行噪声扰动的方法，准确描述了数据增广对于标准误差的影响，并证明了最近提出的鲁棒自学习估计器（RST）可以在不损失标准误差的情况下提高鲁棒误差。经验证，使用不同的对抗训练方法进行 RST 可以改善 CIFAR-10 数据集上的标准误差和鲁棒误差。
发现论文，激发创造
  • 对抗训练分类准确率的精确统计分析

    本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上，我们推导了一种具有极小 - 极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。

    Oct, 2020

  • 线性回归的对抗训练中的精确权衡

    本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用，给出了任何算法能够实现的准确度之间的基本权衡，并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。

    Feb, 2020

  • 重新审视对抗风险

    本文研究对抗扰动和定义的问题，提出对现有定义的轻微修改，消除了对抗精度和标准测试精度之间的权衡，并证明了在新定义下存在既鲁棒又获得高标准准确性的分类器。

    Jun, 2018

  • 插值对抗训练：在不牺牲过多准确性的情况下实现强大的神经网络

    本论文提出了一种名为 Interpolated Adversarial Training 的对抗性训练方法，它采用最近提出的基于插值的训练方法来提高对抗鲁棒性，并以 CIFAR-10 数据集为例进行了实验证明，相较传统对抗性训练方法，该方法可以在保持对抗鲁棒性的同时取得更好的泛化性能与更低的标准测试误差。

    Jun, 2019

  • 认证鲁棒神经网络：泛化和抗污染性

    通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

    Mar, 2023

  • 对抗训练可能会损害泛化

    本文研究了对抗训练在提高鲁棒精度（对抗方面）的同时又有可能降低标准精度（没有对抗方面）。通过构造凸学习问题，我们发现鲁棒精度和泛化能力之间存在基本的紧张关系，而利用未标记的数据进行鲁棒自我训练可以消除这种关系。

    Jun, 2019

  • 多扰动下的对抗训练和鲁棒性

    针对对抗样本的防御，如对抗训练，通常针对单个干扰类型（例如小的 l∞- 噪声），对于其它类型的干扰，这些防御没有保障，甚至会增加模型的脆弱性。我们的目标是了解这种鲁棒性取舍背后的原因，并训练同时对多种扰动类型具有鲁棒性的模型。

    Apr, 2019

  • 使用凸松弛进行认证训练会影响鲁棒性能

    本文介绍了在安全关键应用中，对抗攻击对部署最先进的分类器构成重大威胁；总体上，经验证的防御方法虽然具有鲁棒性保证，但是实践中的对抗训练比较受欢迎。我们系统性地比较了这两种鲁棒性训练方法在多个计算机视觉任务中的标准错误和鲁棒错误，结果表明，在大多数任务和威胁模型下，采用凸松弛的认证训练比采用对抗训练更容易带来标准错误和鲁棒错误。此外，我们还探讨了认证和对抗训练之间的错误差距如何依赖于威胁模型和数据分布，并且除了扰动预算外，我们还确定了扰动集的形状和数据分布的隐式边缘等重要因素。本文在合成和图像数据集上进行了大量消融实验，证明我们的观点。

    Jun, 2023

  • 实例自适应对抗训练：神经网络中更好的准确性和权衡

    本文提出了一种实例自适应对抗训练技术，通过在每个训练样本周围施加特定的扰动边缘来实现更好的泛化能力和测试准确性。

    Oct, 2019

  • 鲁棒性可能与准确性相矛盾

    我们证明了，追求对抗鲁棒性和标准泛化之间存在固有的紧张关系，训练鲁棒性模型不仅可能更加费时，也会导致标准准确性的降低，并且这种现象是由于鲁棒分类器学习了根本不同的特征表示方法。

    May, 2018