Jun, 2019

插值对抗训练：在不牺牲过多准确性的情况下实现强大的神经网络

PDF
TL;DR本论文提出了一种名为 Interpolated Adversarial Training 的对抗性训练方法，它采用最近提出的基于插值的训练方法来提高对抗鲁棒性，并以 CIFAR-10 数据集为例进行了实验证明，相较传统对抗性训练方法，该方法可以在保持对抗鲁棒性的同时取得更好的泛化性能与更低的标准测试误差。
发现论文，激发创造
  • 实例自适应对抗训练：神经网络中更好的准确性和权衡

    本文提出了一种实例自适应对抗训练技术，通过在每个训练样本周围施加特定的扰动边缘来实现更好的泛化能力和测试准确性。

    Oct, 2019

  • 理解和减轻稳健性与准确性之间的权衡

    本研究通过对线性回归中对最优线性预测器进行噪声扰动的方法，准确描述了数据增广对于标准误差的影响，并证明了最近提出的鲁棒自学习估计器（RST）可以在不损失标准误差的情况下提高鲁棒误差。经验证，使用不同的对抗训练方法进行 RST 可以改善 CIFAR-10 数据集上的标准误差和鲁棒误差。

    Feb, 2020

  • 认证鲁棒神经网络：泛化和抗污染性

    通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

    Mar, 2023

  • 通过对抗性训练提高机器学习的稳健性

    研究了机器学习的鲁棒性，使用集中式和分散式环境进行对抗训练，结果显示比现有研究提高了 18.41% 和 47% 的准确性，并提出了独立同分布和非独立同分布数据的 IID 数据共享方法，可提高自然准确性和鲁棒准确性。

    Sep, 2023

  • 对抗训练的分割原则

    对抗性示例的存在揭示了深度神经网络的基本弱点。我们的主要贡献是一种通用方法，使分类器具有显着的鲁棒性，而其自然准确性的降低仅仅是微小或可忽略的。

    Oct, 2023

  • 稳健性与公平性可能相互矛盾：基于类别准确性的实证研究

    本文通过经验研究，在对抗训练的模型中发现了分类的精度和稳健性存在类间差异，包括在通常的训练模型中也存在差异。同时，本文还探讨了解决这种类间差异的可能技术和方法。

    Oct, 2020

  • 对抗性训练的向导插值方法

    本文提出了一种 Guided Interpolation Framework （GIF）框架，该框架利用前一轮 epoch 的 meta 信息来引导数据插值，达到提高可攻击性数据的比例从而增强鲁棒性、减少模型各类之间的线性关系、鼓励模型在每个类别簇中不变地进行预测的目的。实验证明，GIF 确实可以在各种 Adversarial Training 方法和各种数据集上增强对抗鲁棒性。

    Feb, 2021

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021

  • 局部线性化对抗鲁棒性

    本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

    Jul, 2019

  • MixTrain: 可验证鲁棒神经网络的可扩展训练

    通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。

    Nov, 2018