本文研究在简单自然数据模型中,对抗鲁棒学习的样本复杂度可以显著大于标准学习,这个差距是信息理论的,且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难,至少部分来自这种固有的更大的样本复杂度。
Apr, 2018
本文研究对抗扰动和定义的问题,提出对现有定义的轻微修改,消除了对抗精度和标准测试精度之间的权衡,并证明了在新定义下存在既鲁棒又获得高标准准确性的分类器。
Jun, 2018
机器学习中的容错分类需要更加复杂的分类器才能实现,此现象可能是由于当前的分类器结构限制引起的,简单分类器存在鲁棒性和准确性的权衡。
Jan, 2019
本文研究了对抗训练在提高鲁棒精度(对抗方面)的同时又有可能降低标准精度(没有对抗方面)。通过构造凸学习问题,我们发现鲁棒精度和泛化能力之间存在基本的紧张关系,而利用未标记的数据进行鲁棒自我训练可以消除这种关系。
Jun, 2019
为了解决网络鲁棒性和泛化性之间的矛盾问题,研究通过对数据流形的研究证明对流形上对抗性样本的限制可以提高模型泛化能力且鲁棒性和泛化性并不矛盾。
Dec, 2018
本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上,我们推导了一种具有极小 - 极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。
Oct, 2020
针对现代机器学习模型易受到对人类不可察觉的攻击的问题,采用对抗培训来学习鲁棒模型的代价是在未被扰动的测试集上存在更高的泛化误差,此研究证明更多的数据可能会增加鲁棒分类器与标准分类器泛化误差的差距并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距,此现象也出现在线性回归模型中。
Feb, 2020
通过利用深度卷积神经网络生成对抗性样本,然后比较不同的生成技术在产生图像质量和测试机器学习模型鲁棒性方面的差异,最后在跨模型对抗迁移上进行了大规模实验,研究结果表明对抗性样本在相似的网络拓扑间是可传递的,并且更好的机器学习模型更不容易受到对抗性样本的攻击。
Oct, 2016
该论文揭示了现有鲁棒性定义以及鲁棒性认证方法的一些局限性,并调查了除了与鲁棒性相关的对抗性例子之外的其他用途。
Dec, 2023
通过提出综合强健的(HR)训练程序,理论和实验证明了其在对抗错误损失方面具有 SOTA 性能,并克服了在敌对训练中普遍存在的过度拟合问题。
Mar, 2023