参数节省的对抗训练：通过超网络增强多扰动鲁棒性

Sep, 2023

参数节省的对抗训练：通过超网络增强多扰动鲁棒性

Parameter-Saving Adversarial Training: Reinforcing Multi-Perturbation Robustness via Hypernetworks

Huihui Gong, Minjing Dong, Siqi Ma, Seyit Camtepe, Surya Nepal...

TL;DR本文提出了一个新颖的多扰动对抗训练框架，即参数节省的对抗训练（PSAT），强化多扰动鲁棒性的同时具有参数节省的优势，并通过使用超网络训练专门针对单一扰动的模型并集成这些专门模型以抵御多种扰动。最终，我们在不同数据集上对我们的方法与最新攻击方法进行了广泛评估和比较，显示了我们提出的方法在鲁棒性和参数效率方面的优势，例如，对于 CIFAR-10 数据集，以 ResNet-50 为骨干网络，PSAT 在保持最先进的鲁棒性的基础上节省了大约 80% 的参数。

Abstract

adversarial training serves as one of the most popular and effective methods to defend against adversarial perturbations. However, most defense mechanisms only consider a single type of perturbation while various

adversarial training perturbation multi-perturbation parameter-saving adversarial training robustness

发现论文，激发创造

多扰动下的对抗训练和鲁棒性

针对对抗样本的防御，如对抗训练，通常针对单个干扰类型（例如小的 l∞- 噪声），对于其它类型的干扰，这些防御没有保障，甚至会增加模型的脆弱性。我们的目标是了解这种鲁棒性取舍背后的原因，并训练同时对多种扰动类型具有鲁棒性的模型。

Apr, 2019

实例自适应对抗训练：神经网络中更好的准确性和权衡

本文提出了一种实例自适应对抗训练技术，通过在每个训练样本周围施加特定的扰动边缘来实现更好的泛化能力和测试准确性。

Oct, 2019

攻击对抗性攻击作为一种防御

通过对敌对学习及攻击的深入探究，我们发现在敌对性训练的模型中，用微小的随机噪声扰动部分攻击样本能够破坏其误导性预测，为此我们提出了一种有效的防御方法，是通过制造更加有效的防御扰动方法，利用敌对训练降低了地面真实的局部 Lipschitzness，同时攻击所有类别，将误导的预测转换为正确的预测，这种方法在经验实验证明有效。

Jun, 2021

MPAT: 构建抵抗文本对抗攻击的鲁棒深度神经网络

本文提出了一种基于恶意扰动的恶意对抗训练方法 (MPAT)，用于构建对文本对抗攻击具有鲁棒性的深度神经网络。该方法通过生成恶意样本来替代原始输入进行模型训练，并采用新的训练目标函数以实现在不降低原始任务性能的情况下达到防御目标。实验结果表明，相比于先前的防御方法，我们的方法在对抗恶意攻击时更加有效，同时保持或进一步提高原始任务的性能。

Feb, 2024

迈向组合性对抗性鲁棒性：将对抗性训练推广到复合语义扰动

本文提出了一种新的生成组合对抗样本的方法和一种广义对抗训练方法，能够实现模型对多种组合语义扰动的鲁棒性，包括色调、饱和度、亮度、对比度和旋转等，并在 ImageNet 和 CIFAR-10 数据集上具有显著性能优势。

Feb, 2022

神经排序模型的扰动不变对抗训练：改进有效性 - 鲁棒性权衡

使用对抗性例子的神经排序模型（NRMs）在信息检索（IR）中取得了巨大的成功，但是可以通过添加不可察觉的扰动来操纵它们的预测结果。本研究通过将对抗性例子融入训练数据，建立了关于 NRMs 中效果和鲁棒性的权衡的理论保证，并设计了一种新的具有扰动不变性的对抗训练（PIAT）方法，以实现更好的效果和鲁棒性的权衡。实验结果表明，PITA 在多个排序模型上相对于现有的对抗防御方法具有优越性。

Dec, 2023

扩展对抗训练以应对大扰动界限

本文提出一种新的方法，通过 Oracle-Aligned Adversarial Training (OA-AT) 的方式来提高神经网络对抗攻击的鲁棒性，可以在大的扰动（如 L-inf bound 为 16/255 时）达到最先进的性能，同时在标准边界（8/255）也胜过现有的防御机制。

Oct, 2022

多扰动模型联合的对抗鲁棒性

本研究提出了一种基于 PGD-based 的方法，该方法融合多种扰动模型来提高深度学习系统的鲁棒性，并在 MNIST 和 CIFAR10 数据集上进行了测试。

Sep, 2019

通过潜在对抗扰动实现可靠的快速对抗训练

本研究提出了一种基于潜在对抗扰动的单步对抗性训练方法，通过梯度正则化来确保性能稳定，并且与现有的基于输入空间的对抗性训练方法相比，具有更高的计算效率和更好的表现。

Apr, 2021

SAT: 基于课程的损失平滑改进对抗训练

本文提出了一种平滑对抗训练方法 (SAT)，它利用课程学习的思想对对抗训练过程进行平滑处理，提高了对抗训练的稳定性并在干净精度与鲁棒性之间实现了更好的权衡，具体方法基于海森矩阵的特征值以及 softmax 概率，实验结果显示该方法在 CIFAR-100 和 Imagenette 数据集上比 AT 方法显著提升了干净度与鲁棒度。

Mar, 2020