通过对抗性特征扰动实现对图像风格的编码稳健性

Sep, 2020

通过对抗性特征扰动实现对图像风格的编码稳健性

Encoding Robustness to Image Style via Adversarial Feature Perturbations

Manli Shu, Zuxuan Wu, Micah Goldblum, Tom Goldstein

TL;DR通过对特征统计数据直接进行扰动，我们提出了 Adversarial Batch Normalization (AdvBN) 方法，它是一种单一的网络层，可以在训练期间生成最差情况下的特征扰动。通过在扰动的特征分布上对神经网络进行微调，我们观察到网络对各种不可见的分布偏移，包括样式变化和图像损坏，具有更好的鲁棒性。此外，我们证明我们提出的对抗性特征扰动可以与现有的图像空间数据增强方法互补，从而实现改进性能。

Abstract

adversarial training is the industry standard for producing models that are robust to small adversarial perturbations. However, machine learning practitioners need models that are robust to other kinds of changes that occur naturally, such as changes in the style or illumination of inp

adversarial training robustness distributional shifts adversarial batch normalization neural networks

发现论文，激发创造

风格化对抗防御

利用目标样本的样式和内容信息以及其类边界信息创建对抗性扰动，将其应用于多任务目标并进行深度监督，提取多尺度特征知识以创建最大分离对手，随后提出最大间隔对抗训练方法，最小化源图像与其对手之间的距离，并最大化对手和目标图像之间的距离，证明与最先进的防御相比，我们提出的对抗训练方法表现出强大的鲁棒性，对自然出现的损坏和数据分布变化具有良好的泛化能力，并保留了模型在干净样本上的准确性。

Jul, 2020

大规模对抗训练的有趣特性

通过研究对抗训练的诊断要素，本文发现了两个有趣的性质：一是在对抗训练中批量归一化可能会阻碍网络获得强鲁棒性，而分别对训练集中的干净图片和对抗图片进行归一化可以提高鲁棒性；二是相较于传统分类任务，对抗学习对更深的网络层级有更高的需求，这一点可以通过增加网络容量来实现。

Jun, 2019

通过使用解缠表示进行对抗混合实现野外的稳健性

本文提出一种新的方法来达到对真实世界输入的鲁棒性，该方法利用了分解输入的表示来定义不同的变化因素，并通过对不同图像的表示进行对抗组合生成新的输入图像。我们使用 StyleGAN 模型来证明这一框架的有效性，并通过训练模型对真实世界的变化进行了不变性训练，从而改善了模型的泛化能力，并降低了冗余相关性的影响。

Dec, 2019

针对自然扰动的属性引导对抗训练

本文提出了一种基于对抗训练的方法，用于使深度神经网络具有对各种自然产生的扰动的鲁棒性，解决了当前小像素级扰动方法的不足，关键在于最大化分类器对属性空间的曝光度。

Dec, 2020

用于对抗鲁棒性的自适应批标准化网络

通过自适应批归一化网络（ABNN）设计一种不基于对抗训练但仍然能够抵御强对抗攻击的防御方法，以提高对抗性鲁棒性并在图像和视频数据集上实现更高的清洁数据性能和显著降低训练时间复杂度。

May, 2024

走向一个对抗鲁棒性标准化方法

本研究证明 BatchNorm 在对抗攻击下表现脆弱的原因和提出了新的对抗攻击下稳健的正则化方法 RobustNorm。实验证明使用 RobustNorm 的深度神经网络在对抗环境下表现更好。

Jun, 2020

通过输入转换、防御扰动和投票检测对抗性样本

本文探讨在可对抗的变形情况下检测对抗攻击，并提出一种名为 defense perturbation 的新方法来检测具有相同输入变换与可靠的对抗攻击。同时介绍了多网络对抗例子，这种对抗例子可以同时欺骗多个网络。

Jan, 2021

对抗训练下类人行为的扩展研究

本文探讨了神经网络对分布偏移的敏感性问题解决方案中的对抗训练，以及了解到神经网络与人类理解不同的处理方式，更进一步地研究对抗训练对于神经网络偏向形状的影响并给出可能的解释，从频率角度分析了其效果。

Mar, 2023

针对视觉识别的对抗性特征增强与规范化

本文提出了 Adversarial Feature Augmentation 和 Normalization (A-FAN) 方法，旨在将对抗性的特征嵌入到当前的视觉识别模型中，从而提高其分类、检测和分割任务的泛化能力。在各种数据集上的实验证明，A-FAN 可以有效地提高当前视觉识别任务的表现。

Mar, 2021

基于模型的鲁棒深度学习：泛化到自然的离群数据

文章提出了从基于扰动的对抗鲁棒性转向基于模型的鲁棒深度学习的新范式，并探讨了使用深度生成模型来学习自然变化模型并进一步提高深度学习对于自然变化的鲁棒性的三种新型算法，实验表明，该方法在自然情况下能够超越标准深度学习算法和基于范数的鲁棒深度学习算法。

May, 2020