在对抗性环境下重新审视集成：提高自然精度

ICLRFeb, 2020

在对抗性环境下重新审视集成：提高自然精度

Revisiting Ensembles in an Adversarial Context: Improving Natural Accuracy

Aditya Saligrama, Guillaume Leclerc

TL;DR为了提高深度学习模型在实际应用中对小型对抗扰动的抵抗力和非恶意输入的准确性，我们考虑了一些集成方法，关键洞见在于训练模型以抵御小型攻击的模型在集成时可以承受更大的攻击，并且可以通过这个概念来优化自然准确性。我们考虑了两种方案，一种是从几个随机初始化的强韧模型中组合预测，另一种则是将强韧模型和标准模型的特征进行融合。

Abstract

A necessary characteristic for the deployment of deep learning models in real world applications is resistance to small adversarial perturbations while maintaining accuracy on non-malicious inputs. While robust t

deep learning adversarial perturbations robust models ensemble methods natural accuracy

发现论文，激发创造

数量大于强度：通过对抗训练的集合优化鲁棒性和计算效率

通过对对抗样本的数据增广训练神经网络模型，以提高模型的抗干扰性，并发现通过将小型模型构成的集成模型一起进行对抗训练相比使用单个大模型的训练更有效。而重点在于对整个集成模型的对抗训练，而不是只对每个模型进行对抗训练。

Nov, 2018

软对抗训练可以保留自然准确度

本文研究用抽象认证来提取子输入以进行软对抗训练，提出了一个培训框架，能在约束条件下保持自然精度而不牺牲强健性，证明了软对抗性训练在对抗攻击防御方面的可行性，并提出了未来工作的范围以进一步改进该框架。

Jun, 2022

使用集成网络和噪声层实现鲁棒深度学习

本篇论文提出了一种深度学习方法，可以在图像分类类型的网络中保护并提高其鲁棒性，同时实现了准确性和鲁棒性的平衡，通过实验验证了该方法的有效性和鲁棒性保障。

Jul, 2020

鲁棒性可能与准确性相矛盾

我们证明了，追求对抗鲁棒性和标准泛化之间存在固有的紧张关系，训练鲁棒性模型不仅可能更加费时，也会导致标准准确性的降低，并且这种现象是由于鲁棒分类器学习了根本不同的特征表示方法。

May, 2018

准确性和鲁棒性是否相关？

通过利用深度卷积神经网络生成对抗性样本，然后比较不同的生成技术在产生图像质量和测试机器学习模型鲁棒性方面的差异，最后在跨模型对抗迁移上进行了大规模实验，研究结果表明对抗性样本在相似的网络拓扑间是可传递的，并且更好的机器学习模型更不容易受到对抗性样本的攻击。

Oct, 2016

深度神经网络对抗扰动的防御方法：集成学习

采用集成方法作为防御策略可增强神经网络在 MNIST 和 CIFAR-10 数据集中对于对抗扰动的鲁棒性。

Sep, 2017

通过促进集成多样性来提高对抗鲁棒性

该论文提出了一种新的方法，通过探索个体网络之间的交互来提高集成模型的抗干扰性，通过定义一种新的集成多样性的概念来在对抗性情境中促进网络多样性，并演示了一种适应性的多样性促进正则化器，以提高集成的鲁棒性。该方法在各种数据集上取得了良好的实验效果，同时保持了在正常情况下达到最新水平的精度。

Jan, 2019

通过多样化训练提高集合模型的对抗鲁棒性

本研究通过多个神经网络的损失函数不相关来提高其对抗攻击的鲁棒性，提出了一种叫做多样化训练的方法，并发现该方法能够显著增强集合的对抗防御能力。

Jan, 2019

基于模型的鲁棒深度学习：泛化到自然的离群数据

文章提出了从基于扰动的对抗鲁棒性转向基于模型的鲁棒深度学习的新范式，并探讨了使用深度生成模型来学习自然变化模型并进一步提高深度学习对于自然变化的鲁棒性的三种新型算法，实验表明，该方法在自然情况下能够超越标准深度学习算法和基于范数的鲁棒深度学习算法。

May, 2020

随机集成的对抗性漏洞

本文介绍了在深度学习领域中，随机集合相较于标准对抗训练具有更强的鲁棒性，而本文提出的理论框架证明了该观察结果的可靠性，同时改进的对抗攻击算法也被提出。

Jun, 2022