对抗训练分类准确率的精确统计分析
本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用,给出了任何算法能够实现的准确度之间的基本权衡,并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。
Feb, 2020
本文研究了在对抗训练中通过二元高斯混合分类问题的分析,得到最优贝叶斯分类器和最优对抗分类器之间的区别,并研究了不同分布参数(类别中心之间的距离、类别比例和协方差矩阵)对精度差异的影响,提出在一定条件下,平衡类别可以实现对抗分类器的自然误差和精度差距的局部最优化,并证明在最坏情况下精度差距为 Theta(epsilon^2),这在理论上表明了实现近乎完美精度的强健分类器的可能性,这在实际算法中很少体现。
Jul, 2021
我们证明了,追求对抗鲁棒性和标准泛化之间存在固有的紧张关系,训练鲁棒性模型不仅可能更加费时,也会导致标准准确性的降低,并且这种现象是由于鲁棒分类器学习了根本不同的特征表示方法。
May, 2018
本文研究在简单自然数据模型中,对抗鲁棒学习的样本复杂度可以显著大于标准学习,这个差距是信息理论的,且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难,至少部分来自这种固有的更大的样本复杂度。
Apr, 2018
本研究通过对线性回归中对最优线性预测器进行噪声扰动的方法,准确描述了数据增广对于标准误差的影响,并证明了最近提出的鲁棒自学习估计器(RST)可以在不损失标准误差的情况下提高鲁棒误差。经验证,使用不同的对抗训练方法进行 RST 可以改善 CIFAR-10 数据集上的标准误差和鲁棒误差。
Feb, 2020
通过对高维度输入数据的实践系统进行观察,我们展示了对于那些容易构建的对抗性攻击及其对大多数模型的威胁性,以及随机扰动的鲁棒性同时易受影响的基本特性,证实了这一现象。然而,令人惊讶的是,即使对于分类器决策边界与训练和测试数据之间只有很小的边距,也很难通过随机取样的扰动来检测到对抗性示例,因此需要更严格的对抗性训练。
Sep, 2023
在这篇论文中,我们发现通过在输入数据分布上进行语义保持的变换可以导致 Robust accuracy 的大幅度变化,而 clean accuracy 却没有变化,这表明输入数据分布可以影响神经网络的 Adversarial robustness。
Feb, 2019
本文通过经验研究,在对抗训练的模型中发现了分类的精度和稳健性存在类间差异,包括在通常的训练模型中也存在差异。同时,本文还探讨了解决这种类间差异的可能技术和方法。
Oct, 2020
针对现代机器学习模型易受到对人类不可察觉的攻击的问题,采用对抗培训来学习鲁棒模型的代价是在未被扰动的测试集上存在更高的泛化误差,此研究证明更多的数据可能会增加鲁棒分类器与标准分类器泛化误差的差距并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距,此现象也出现在线性回归模型中。
Feb, 2020