批中批：一种新的对初值扰动和样本选择的对抗训练框架

Jun, 2024

批中批：一种新的对初值扰动和样本选择的对抗训练框架

Batch-in-Batch: a new adversarial training framework for initial perturbation and sample selection

Yinting Wu, Pai Peng, Bo Cai, Le Li

TL;DR通过 Batch-in-Batch（BB）训练框架，从初始扰动和样本选择策略两方面提高模型鲁棒性，并通过在多个对抗设置上的实验验证了该框架在三个基准数据集上训练的模型在对抗准确性方面的优越性。

Abstract

adversarial training methods commonly generate independent initial perturbation for adversarial samples from a simple uniform distribution, and obtain the training batch for the classifier without selection. In t

adversarial training robustness perturbation sample selection adversarial accuracy

发现论文，激发创造

双边对抗训练：快速训练更健壮的模型以抵御对抗性攻击

本文提出了一种 Bilateral Adversarial Training 方法，使用一步定向攻击生成对抗样本来训练一个抗攻击性更强的神经网络，实验结果表明该方法对于对抗性攻击的鲁棒性有显著提升。

Nov, 2018

Adv-BNN: 基于鲁棒性贝叶斯神经网络的改进对抗防御

提出了一种新算法，使用贝叶斯神经网络模型和模型分布的学习来训练神经网络以提高其对抗攻击的鲁棒性，在实验中取得了最先进的效果。

Oct, 2018

基于强盗驱动的批次选择以应对标签噪声下的鲁棒学习

我们引入了一种新颖的方法来选择随机梯度下降（SGD）训练中的批量，利用组合赌博算法。我们的方法主要关注在现实世界数据集中普遍存在的标签噪声的学习过程优化。对 CIFAR-10 数据集的实验评估表明，我们的方法在各种标签污染程度下始终优于现有方法。重要的是，我们在不引入常见辅助神经网络模型的计算开销的情况下实现了这种卓越性能。这项工作在计算效率和模型功效之间达到了平衡，为复杂机器学习应用提供了可扩展的解决方案。

Oct, 2023

用于对抗鲁棒性的自适应批标准化网络

通过自适应批归一化网络（ABNN）设计一种不基于对抗训练但仍然能够抵御强对抗攻击的防御方法，以提高对抗性鲁棒性并在图像和视频数据集上实现更高的清洁数据性能和显著降低训练时间复杂度。

May, 2024

使用敌对式训练和二阶信息进行神经网络的大批量训练

本文提出了一种基于 Ray 框架的新型自适应批量大小框架，以及一种使用二阶方法和对抗训练的新型自适应批量大小训练方案，该方法在多个神经网络和数据集上均实现了比现有解决方案更好的效果。

Oct, 2018

图卷积网络批量虚拟对抗训练

本文基于 graph convolutional networks (GCNs) 提出了 batch virtual adversarial training (BVAT) 的正则化方法，并验证了其在半监督节点分类任务中较好的效果。

Feb, 2019

生成对抗扰动

该研究提出了新型生成模型，用于制造近似自然图像但又能欺骗先前训练好的模型的略微扰动的对抗性样本。通过在具有挑战性的高分辨率数据集上的实验，它证明了这种扰动具有高弄虚率和较小的扰动规模，并且比当前的迭代方法更快。

Dec, 2017

快速优于免费：再探对抗训练

通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

Jan, 2020

∞范数的健壮性与更多因素：高效对抗训练技术的实现

本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

Dec, 2021

具有可定制扭曲的图像分类器稳健性基准生成框架

我们提出了一个新颖的框架，用于生成对抗性基准测试，以评估图像分类模型的鲁棒性。我们的框架允许用户定制应用于图像的最佳失真类型，从而帮助解决与其部署相关的特定失真问题。该基准测试可以生成不同失真水平的数据集，评估不同图像分类器的鲁棒性。我们的结果表明，我们的框架生成的对抗性样本在任何图像分类模型（如 ResNet-50、Inception-V3 和 VGG-16）上都是有效的并且具有传递性，导致其他模型失效。即使使用最先进的技术对这些模型进行对抗式重训练，这些失败仍然会发生，证明了我们对抗性样本的泛化能力。我们在 CIFAR-10 和 ImageNet 上的净 $L_2$ 失真方面取得了与最先进基准技术具有竞争性的性能；然而，我们的框架是通过简单的失真（如高斯噪声）实现这些结果的，而不引入不自然的伪影或颜色渗透。这得益于基于模型的强化学习（RL）代理和将对图像的深度树搜索减少到一级分析和动作的技术，来降低模型对扰动的敏感性。选择失真类型和设置多类别分类概率阈值的灵活性使得我们的框架适用于算法审核。

Oct, 2023