越少越好：数据修剪加速对抗训练

AAAIFeb, 2023

越少越好：数据修剪加速对抗训练

Less is More: Data Pruning for Faster Adversarial Training

Yize Li, Pu Zhao, Xue Lin, Bhavya Kailkhura, Ryan Goldhahn

TL;DR提出基于数据修剪的针对深度神经网络的对抗训练，通过减少数据层面的冗余来提高计算效率，实现和未修剪模型相似或更高的鲁棒性和准确性。

Abstract

deep neural networks (DNNs) are sensitive to adversarial examples, resulting in fragile and unreliable performance in the real world. Although adversarial training (AT) is currently one of the most effective methodologies to robustify DNNs, it is computationally very expensive (e.g., 5

deep neural networks adversarial training data pruning robustness computational efficiency

发现论文，激发创造

无需对抗样本修剪对抗鲁棒神经网络

该研究通过运用自蒸馏和信息瓶颈方案，提出新的神经网络剪枝框架，使其可以在保持鲁棒性的情况下压缩其大小并提高训练效率。

Oct, 2022

对抗训练是否需要完整的训练数据？

该研究使用一个基于样本性质筛选的简化训练方法，在保持分类结果鲁棒性不变的情况下，将医学图像和自动驾驶等领域的深度神经网络训练时间减少到原来的三分之一。

Mar, 2023

理解和提高 Frank-Wolfe 对抗训练的效率

通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。

Dec, 2020

面向数据中心强健学习的抵抗基于迁移的对抗性攻击的深度学习模型

该研究提出了一种名为数据中心稳健学习（DRL）的新的防御范例，通过在训练之前进行一次性的对抗性增强来提高对迁移攻击的稳健性，并且在黑盒稳健性上超过了多种常用的对抗训练技术。此外，DRL 还具有模型的泛化能力和稳健公平性。

Oct, 2023

数据精简框架：提升模型性能和效率的端到端自适应数据精简

AdaPruner 是一种自适应数据集修剪框架，通过消除冗余的训练样本和减少计算和内存开销来提高模型性能和效率，可以在无需显式定义度量标准的情况下有效地修剪数据集并进行模型微调，展现了高可伸缩性和兼容性，并在修剪了训练数据的情况下显著提高了模型性能，同时节省了存储和计算成本。

Dec, 2023

通过数据重要性外推在对抗训练中进行大规模数据集剪枝

基于从小数据集外推数据重要性分数的数据修剪策略，在保持鲁棒性的同时有效地减小数据集大小。

Jun, 2024

AROID：通过在线逐实例数据增强提高对抗鲁棒性

该论文提出了一种新的方法，通过在线实例化学习数据增强策略来提高 Deep neural networks 的 Adversarial training 的鲁棒性，在多个模型结构和数据集上成功地超越了现有的竞争性数据增强方法。

Jun, 2023

F$^2$AT：通过自然和扰动模式解缠以进行特征聚焦对抗训练

通过位平面切片将对抗性样本分解为自然和扰动模式，提出了一个特征关注的对抗性训练 (F^2AT)，使模型专注于来自自然模式的核心特征，减少扰动模式的虚假特征。实验结果表明 F^2AT 在准确性和对抗性鲁棒性方面优于现有的方法。

Oct, 2023

对抗神经元剪枝净化植入后门的深度模型

通过 Adversarial Neuron Pruning (ANP) 修复易崩溃的 DNN 神经元，即可在不影响性能的情况下去除后门攻击。

Oct, 2021

净化上的对抗性训练（AToP）：增强鲁棒性和泛化能力

在这篇论文中，研究人员提出了一种称为对抗训练纯化（AToP）的新框架，通过随机转换（RT）的扰动破坏和对抗损失下的纯化模型优化（FT）来加强深度神经网络对抗攻击的鲁棒性和泛化能力，并通过对 CIFAR-10、CIFAR-100 和 ImageNette 的广泛实验表明其在对抗攻击防御方面达到了最先进的结果和泛化能力。

Jan, 2024