Mar, 2020

SAT: 基于课程的损失平滑改进对抗训练

PDF
TL;DR本文提出了一种平滑对抗训练方法 (SAT)，它利用课程学习的思想对对抗训练过程进行平滑处理，提高了对抗训练的稳定性并在干净精度与鲁棒性之间实现了更好的权衡，具体方法基于海森矩阵的特征值以及 softmax 概率，实验结果显示该方法在 CIFAR-100 和 Imagenette 数据集上比 AT 方法显著提升了干净度与鲁棒度。
发现论文，激发创造
  • 平滑对抗训练

    通过仔细的研究我们提出了一种新的平滑对抗训练方法，其中我们用其平滑逼近替代了 ReLU 激活函数以增强对抗训练的鲁棒性，并且相比于传统方法，该方法在不引入额外计算成本的情况下，能够显著提高模型的鲁棒性，同时保持模型的准确率。

    Jun, 2020

  • 鲁棒图神经网络的频谱对抗训练

    本文提出 Spectral Adversarial Training （SAT），基于频谱分解的简单但有效的对抗训练方法，用于提高图神经网络（GNN）对抗攻击的鲁棒性，实验结果表明 SAT 显著提高了 GNN 对抗攻击的鲁棒性，而不影响分类准确性和训练效率。

    Nov, 2022

  • 自适应对抗训练以提高 DNN 在医学图像分割和检测中的对抗性鲁棒性

    本研究旨在解决医学影像分析任务中现有标准对抗训练方法中的问题，提出了一种生成适应性噪声的自适应边界对抗训练（AMAT）方法，改进了深度神经网络（DNNs）的鲁棒性，提高了模型的稳健性。

    Jun, 2022

  • 用简单基线重新思考对抗性训练

    使用简单有效的基线方法，通过将调整后的平方损失、循环学习速率和 Erasing 数据增强相结合的训练协议，取得了 CIFAR 和 SVHN 的 RobustBench 上有竞争力的结果。

    Jun, 2023

  • 为正确的原因上当：通过教师引导的课程学习方法提高对抗性鲁棒性

    通过限制像素扰动以及使用更准确的物体属性图，提出了一种非迭代的训练方法，实现了在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上比现有的 AT 方法更高的鲁棒性，在对抗攻击和自然精度方面优于其他方法。

    Oct, 2021

  • 课程对抗训练

    本文提出课程对抗性训练 (CAT) 的方法，通过产生一系列攻击强度不同的对抗性样本，使用两种技术解决模型遗忘和泛化问题， 并证明 CAT 方法可以将 CIFAR-10 和 SVHN 的经验最坏情况精度大幅提高 25% 和 35%。同时，在非对抗性输入上，该模型的表现与现有最先进模型相当。

    May, 2018

  • 迈向组合性对抗性鲁棒性：将对抗性训练推广到复合语义扰动

    本文提出了一种新的生成组合对抗样本的方法和一种广义对抗训练方法，能够实现模型对多种组合语义扰动的鲁棒性，包括色调、饱和度、亮度、对比度和旋转等，并在 ImageNet 和 CIFAR-10 数据集上具有显著性能优势。

    Feb, 2022

  • 关于尖锐度感知极小化和对抗性训练之间的对偶性

    通过对比 Adversarial Training (AT) 和 Sharpness-Aware Minimization (SAM) 的对偶关系，本研究发现单独使用 SAM 可以提高对抗性稳健性，同时不牺牲准确性，这为将 SAM 作为准确性较高的替代方案提供了新的可能性。

    Feb, 2024

  • 利用深层模型的分层内在维度进行实用对抗训练

    通过改进的 Adversarial Training 算法 SMAAT，本研究提供了 vision 和 language 模型在 generalization 和 robustness 趋势差异的首个解释，同时展示了 SMAAT 在多个任务中显著提高了鲁棒性，且相比于标准的 AT 仅需约 25-33% 的 GPU 时间。

    May, 2024

  • 通过自适应逐实例损失平滑提升对抗训练

    通过对输入进行敌对扰动（即人类感知不到的人工噪音），深度神经网络容易产生错误预测。迄今为止，敌对训练已成为对抗性攻击最成功的防御方式。本文聚焦于改进敌对训练以提高对抗性强度，提出了一种新的敌对训练方法 ISEAT，它通过自适应、实例特定的方式同时平滑输入和权重损失景观以增强鲁棒性，证明与现有防御方法相比，该方法具有显著的优越性。

    Mar, 2023