对抗训练可能会损害泛化

Jun, 2019

Adversarial Training Can Hurt Generalization

Aditi Raghunathan, Sang Michael Xie, Fanny Yang, John C. Duchi, Percy Liang

TL;DR本文研究了对抗训练在提高鲁棒精度（对抗方面）的同时又有可能降低标准精度（没有对抗方面）。通过构造凸学习问题，我们发现鲁棒精度和泛化能力之间存在基本的紧张关系，而利用未标记的数据进行鲁棒自我训练可以消除这种关系。

Abstract

While adversarial training can improve robust accuracy (against an adversary), it sometimes hurts standard accuracy (when there is no adve

adversarial training robust accuracy standard accuracy optimization concerns robust self-training

发现论文，激发创造

对抗鲁棒模型的好奇案例：更多的数据可以帮助，双下降，还是伤害泛化能力

本文研究对抗训练在分类问题的应用，发现更多的训练数据可能会损害对抗准确性模型的泛化能力，特别在存在强对抗时更加明显，给出了针对线性和二维分类问题的实验支持。

Feb, 2020

鲁棒性可能与准确性相矛盾

我们证明了，追求对抗鲁棒性和标准泛化之间存在固有的紧张关系，训练鲁棒性模型不仅可能更加费时，也会导致标准准确性的降低，并且这种现象是由于鲁棒分类器学习了根本不同的特征表示方法。

May, 2018

更多数据可能扩大对抗性鲁棒模型和标准模型之间的泛化差距

针对现代机器学习模型易受到对人类不可察觉的攻击的问题，采用对抗培训来学习鲁棒模型的代价是在未被扰动的测试集上存在更高的泛化误差，此研究证明更多的数据可能会增加鲁棒分类器与标准分类器泛化误差的差距并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距，此现象也出现在线性回归模型中。

Feb, 2020

对抗鲁棒性泛化需要更多数据

本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018

线性回归的对抗训练中的精确权衡

本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用，给出了任何算法能够实现的准确度之间的基本权衡，并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。

Feb, 2020

认证鲁棒神经网络：泛化和抗污染性

通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

Mar, 2023

对抗训练可能是把双刃剑

本文研究了对抗训练在提高图像分类器对白盒攻击的鲁棒性中的有效性，以及在黑盒攻击下的细微差别，并定义了鲁棒性增益的度量指标来衡量其效果。研究表明，尽管对抗训练是提高白盒场景下的鲁棒性的有效方法，但对于更现实的基于决策的黑盒攻击，则可能无法提供如此良好的鲁棒性增益。此外，即使是最小的扰动白盒攻击也可以比常规攻击更快地针对对抗训练过的神经网络收敛。

Jul, 2021

关于强健的过拟合：对抗训练引起的分布问题

该研究论文探讨了对抗训练中的鲁棒性过拟合现象及其与扰动诱导分布的泛化困难性之间的相关性，提供了一个新的上界，其中称为 “局部离散性” 的扰动算子发挥了重要作用。

Nov, 2023

通过更多无标签数据来提升对抗鲁棒泛化能力

本文研究了神经网络对抗性鲁棒性问题，通过理论和实验结果表明，增加未标记数据的使用，可以提高抗干扰泛化性能，并提出一种算法在 MNIST 和 Cifar-10 上的对抗训练方法。

Jun, 2019

拆分对抗鲁棒性与泛化

为了解决网络鲁棒性和泛化性之间的矛盾问题，研究通过对数据流形的研究证明对流形上对抗性样本的限制可以提高模型泛化能力且鲁棒性和泛化性并不矛盾。

Dec, 2018