增强扩散以提高强健性泛化能力

KDDJun, 2023

Enhance Diffusion to Improve Robust Generalization

Jianhui Sun, Sanchit Sinha, Aidong Zhang

TL;DR本文提出了一种名为 Diffusion Enhanced Adversarial Training (DEAT) 的新方法，以改善 Adversarial Training 中的 generalization 问题，理论上证明了 DEAT 比主要 AT 框架 ——Projected Gradient Descent Adversarial Training (PGD-AT) 更紧密的泛化界限，并通过广泛的实证调查证实了 DEAT 的优越性。

Abstract

deep neural networks are susceptible to human imperceptible adversarial perturbations. One of the strongest defense mechanisms is \emph{Adversarial Training} (AT). In this paper, we aim to address two predominant problems in AT. First, there is still little consensus on how to set

deep neural networks adversarial training hyperparameters generalization diffusion enhanced adversarial training

发现论文，激发创造

仅需简单微调：通过对抗微调实现鲁棒深度学习

本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法，该方法通过有效的学习率调度策略显著降低了计算成本，同时提高了深度神经网络的准确性和鲁棒性。实验结果表明，该方法在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法，同时将计算成本降低了 8-10 倍，并能够改善任何经过预训练的深度神经网络的鲁棒性，而无需从头开始训练模型。

Dec, 2020

对抗分布式训练用于强健深度学习

本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

Feb, 2020

减少梯度逼近的对抗训练成本

采用梯度逼近的对抗训练方法能够减少建立稳健模型的成本，而对于常见数据集如 MNIST、CIFAR-10 和 CIFAR-100，该方法在训练时间上节省了高达 60% 的时间，并且在模型测试准确性上没有明显损失。

Sep, 2023

面向数据中心强健学习的抵抗基于迁移的对抗性攻击的深度学习模型

该研究提出了一种名为数据中心稳健学习（DRL）的新的防御范例，通过在训练之前进行一次性的对抗性增强来提高对迁移攻击的稳健性，并且在黑盒稳健性上超过了多种常用的对抗训练技术。此外，DRL 还具有模型的泛化能力和稳健公平性。

Oct, 2023

通过对抗去噪扩散训练实现更好的对抗净化

扩散基净化（DBP）是一种有希望对抗恶意攻击的方法，通过确定梯度来检验 DBP 的稳健性，研究表明随机性是 DBP 的主要稳健因素，提出了 Adversarial Denoising Diffusion Training（ADDT）来提高 DBP 模型的稳健性。

Apr, 2024

理解和提高 Frank-Wolfe 对抗训练的效率

通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。

Dec, 2020

基于扩散的对抗样本生成技术，改善隐蔽性和可控性

该论文提出了一种名为 Diff-PGD 的新框架，用于生成逼真的对抗样本，并通过使用扩散模型引导梯度，确保对抗样本保持靠近原始数据分布同时保持其有效性，证明使用 Diff-PGD 生成的样本具有更好的可转移性和抗净化能力。

May, 2023

缓和以防御：通过自引导标签完善实现对抗鲁棒性

鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

Mar, 2024

关于强健的过拟合：对抗训练引起的分布问题

该研究论文探讨了对抗训练中的鲁棒性过拟合现象及其与扰动诱导分布的泛化困难性之间的相关性，提供了一个新的上界，其中称为 “局部离散性” 的扰动算子发挥了重要作用。

Nov, 2023

医学图像分类上的动态扰动自适应对抗训练

提出了一种动态扰动自适应对抗训练（DPAAT）方法，通过将对抗训练放置在动态学习环境中，生成自适应的数据级扰动，并通过损失信息收集提供动态更新的准则，从而在提高鲁棒性的同时保留高泛化能力。在皮肤科 HAM10000 数据集上进行全面测试，表明 DPAAT 不仅实现了更好的鲁棒性改善和泛化性能保留，还显著提高了各种 CNNs 的平均精度和解释能力，表现出作为通用医学影像分类中的一种潜在的强大的对抗训练方法。

Mar, 2024