带有 Dropout 调度的单步对抗训练

CVPRApr, 2020

Single-step Adversarial training with Dropout Scheduling

Vivek B.S., R. Venkatesh Babu

TL;DR该研究论文主要讨论了深度学习模型在计算机视觉等领域中的应用，以及由于鲁棒性不足而面临的对抗攻击问题，提出了单步对抗性训练方法及其存在的问题，并针对该问题提出了多步鲁棒性训练方法，并通过实验证明该方法得到的模型具有较强的鲁棒性。

Abstract

deep learning models have shown impressive performance across a spectrum of computer vision applications including medical diagnosis and autonomous driving. One of the major concerns that these models face is the

adversarial attacks adversarial training method computer vision deep learning models robust models

发现论文，激发创造

单步对抗训练正则化方法

该论文提出了三种新的正则化方法，用于单步对抗训练，以解决模型的伪鲁棒性问题，并在机器学习、计算机视觉等领域取得与经过复杂多步训练的模型相当的性能。

Feb, 2020

单步对抗训练中的灾难性过拟合理解

本文研究了如何防止在单步对抗训练中出现的 “灾难性过拟合” 的问题，并提出了一种简单的方法，不仅可以预防此问题，而且能够在单步对抗训练中防止多步对抗攻击。

Oct, 2020

监督学习和半监督学习中的对抗性随机失活

该研究探讨使用对抗性失活的方法改进神经网络的泛化性能，发现对抗失活增加了神经网络的稀疏度，从而改进了 MNIST 和 CIFAR-10 数据集上的监督和半监督学习任务的泛化性能。

Jul, 2017

快速传播是更好的：通过抽取子网络加速单步对抗训练

在这项工作中，我们提出了一种利用模型的内部构建块来提高效率的方法，通过在训练过程中动态地采样轻量级子网络作为替代模型，加速前向和后向传递以实现高效的对抗训练，并通过理论分析证明了单步对抗训练和采样子网络可以提高模型的鲁棒性。相比之前的方法，我们的方法不仅减少了训练成本，而且实现了更好的模型鲁棒性。

Oct, 2023

通过反向平滑实现高效稳健训练

本研究提出了一种新的初始化策略通过随机平滑过程实现单步的快速对抗训练，相较于原来的算法具有更好的稳定性和模型鲁棒性。实验结果表明，该方法可以在更短的训练时间内实现类似 TRADES 方法的模型稳健性。

Oct, 2020

离散对抗训练实现模型的鲁棒性

本文提出离散对抗攻击的在线增强方法，使用基于最佳优先搜索和随机抽样的攻击策略来生成对抗性样本，结果表明使用随机抽样方法能够显著提高鲁棒性，而且比之前使用的离线增强方法速度提高了约 10 倍。

Apr, 2021

适用于循环神经网络的对抗性 dropout

通过采用敌对概念生成的 dropout mask 来改进循环神经网络的性能，实现了对于时序 MNIST 任务、半监督文本分类任务和语言建模任务中 RNNs 的 dropout 技术的有效性提高。

Apr, 2019

通过潜在对抗扰动实现可靠的快速对抗训练

本研究提出了一种基于潜在对抗扰动的单步对抗性训练方法，通过梯度正则化来确保性能稳定，并且与现有的基于输入空间的对抗性训练方法相比，具有更高的计算效率和更好的表现。

Apr, 2021

建立稳健模型的简单结构

通过添加一个用于协作训练的对抗样本检测网络和设计一种新的数据采样策略，我们建议了一个简单的架构来构建具有一定鲁棒性的模型，该模型能够适应许多不同的对抗攻击，并针对 Cifar10 dataset 的实验表明这种设计对模型的鲁棒性具有积极影响。

Apr, 2022

双边对抗训练：快速训练更健壮的模型以抵御对抗性攻击

本文提出了一种 Bilateral Adversarial Training 方法，使用一步定向攻击生成对抗样本来训练一个抗攻击性更强的神经网络，实验结果表明该方法对于对抗性攻击的鲁棒性有显著提升。

Nov, 2018