Jun, 2024

对抗鲁棒分类器的一致收敛性

PDF
TL;DR在对数据分类问题的不同类型的对抗扰动的影响方面，引入对抗性能力作为一个重要参数，以精确性和稳健性之间的权衡关系。本研究考虑对对抗性扰动分类问题的一般框架，在大数据或整体数据的情况下进行研究。在这样的情况下，我们证明了当对抗性强度趋近于零时，最优分类器在 Hausdorff 距离上收敛于贝叶斯分类器。这一结果显著增强了先前通常集中在 $L^1$ 型收敛上的研究成果。主要论证依赖于直接的几何比较，并受到几何测度理论技术的启发。
发现论文，激发创造
  • 分类中分布参数与准确性 - 稳健性权衡的相互作用

    本文研究了在对抗训练中通过二元高斯混合分类问题的分析，得到最优贝叶斯分类器和最优对抗分类器之间的区别，并研究了不同分布参数（类别中心之间的距离、类别比例和协方差矩阵）对精度差异的影响，提出在一定条件下，平衡类别可以实现对抗分类器的自然误差和精度差距的局部最优化，并证明在最坏情况下精度差距为 Theta（epsilon^2），这在理论上表明了实现近乎完美精度的强健分类器的可能性，这在实际算法中很少体现。

    Jul, 2021

  • 对于随机平滑分类器的严格对抗鲁棒性证明

    采用输入随机化生成的分类器的集合可以具有很强的鲁棒性，该方法可扩展到更广泛的分布，特别是在离散情况下保证敌对的鲁棒性，并给出了相应的算法，此外，该研究有助于通过假设分类器的函数类来提高保证，并且具有图像和分子数据集上的实际应用。

    Jun, 2019

  • 分类器对于对抗扰动的鲁棒性分析

    本论文分析了深层网络的一个有趣现象，即它们对于对抗性扰动的不稳定性，并提出了一个分析分类器鲁棒性的理论框架，并且为对抗性扰动的鲁棒性建立了一个上限。具体而言，我们建立了分类器对于对抗性扰动的鲁棒性的一个通用上限并用一些线性和二次分类器的例子说明了所获得的上限。我们的结果表明，在涉及小区分能力的任务中，所有选定的分类器将不会对于对抗性扰动产生鲁棒性，即使达到了较高的准确率。

    Feb, 2015

  • 敌对风险和稳健性：统一分布的一般定义和影响

    研究了均匀分布在 {0,1}^n 上的实例中的敌对扰动，提出了不同于通常定义的错误区域的保真度定义，并根据该定义研究了任何分类问题的任何分类器的风险和稳健性的内在限制。使用布尔超立方体的等周不等式和中心极限定理，对单个和大规模的问题提出了与数学相关的结果。

    Oct, 2018

  • 随机分类器对抗性样本的鲁棒性

    本文研究了对抗攻击的鲁棒性理论，聚焦于随机化分类器并通过统计学习理论和信息论提供了其行为的彻底分析。我们引入了随机化分类器的新鲁棒性概念，在此基础上进行了两项新的贡献：提出了一种新的随机化分类器对抗泛化间隙的上界限和对其进行了一种简单而有效的噪声注入方法来设计鲁棒的随机化分类器。我们还在 CIFAR-10 和 CIFAR-100 标准图像数据集上使用深度神经网络的实验结果证实了我们的发现。

    Feb, 2021

  • 多类分类对抗训练解的存在性

    本文研究了三种拟建立鲁棒分类器以对抗对数据的恶意扰动的多分类分类问题模型，证明了每个模型中存在 Borel 可测的鲁棒分类器，并提供了对抗训练问题的统一视角，扩展了与作者在先前工作中启动的最优传输方面的关联，并发展了在多类设置中进行对抗训练和总变差规则化之间的新关联。

    Apr, 2023

  • 任何分类器的对抗性易受攻击性

    本文研究了对抗扰动现象，并推导了任何分类函数的鲁棒性的基本上界，以及证明了存在跨不同分类器传递的具有小风险的对抗扰动。研究显示了生成模型的关键属性，如平滑性和潜在空间的维度，并提供了信息量大的鲁棒性基线。

    Feb, 2018

  • 对抗鲁棒性泛化需要更多数据

    本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

    Apr, 2018

  • 重新审视对抗风险

    本文研究对抗扰动和定义的问题，提出对现有定义的轻微修改，消除了对抗精度和标准测试精度之间的权衡，并证明了在新定义下存在既鲁棒又获得高标准准确性的分类器。

    Jun, 2018

  • 对抗训练分类准确率的精确统计分析

    本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上，我们推导了一种具有极小 - 极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。

    Oct, 2020