Jan, 2022

对抗风险的多种表现

PDF
TL;DR本文通过应用最优传输、鲁棒统计、泛函分析和博弈理论等技术工具，重审了 adversarial risk 的定义并探究了其与 adversarial robustness 的等价关系，证明了在对抗分类问题中存在纯 Nash 均衡，并通过最小化两个分布在无限 - Wasserstein 不确定性集之间的贝叶斯误差来描述 adversarial risk。
adversarial riskoptimal transportgame theorybayes erroradversarial robustness
发现论文，激发创造
  • 通过最优输运和最优配对实现的对抗性风险

    本文从最优传输的角度分析了机器学习算法的敌对风险和敌对分类器，针对二元分类的 0-1 损失，建立了优化传输成本与两类别概率分布之间的联系，得出了单峰分布下的优化敌对风险和敌对分类器，通过凸性和平滑性假设，扩展了结果到通用损失函数。

    Dec, 2019

  • 敌对风险和稳健性：统一分布的一般定义和影响

    研究了均匀分布在 {0,1}^n 上的实例中的敌对扰动，提出了不同于通常定义的错误区域的保真度定义，并根据该定义研究了任何分类问题的任何分类器的风险和稳健性的内在限制。使用布尔超立方体的等周不等式和中心极限定理，对单个和大规模的问题提出了与数学相关的结果。

    Oct, 2018

  • 对抗性风险与评估弱攻击的危害

    本文研究了针对对抗性样本的最新的防御方法和评估对抗性鲁棒性的方法，提出了 “对抗风险” 作为实现模型鲁棒性的目标，并将常用的攻击和评估度量框架化为真正的对抗风险的可行替代目标，指出模型可能会优化该替代目标而不是对抗风险，发展了识别混淆模型和设计透明模型的工具和启发式方法，并通过重新调整梯度自由优化技术为对抗攻击来证明这在实践中是一个重大问题，这被用于将几个最近提出的防御的准确性降低到接近零。我们希望我们的公式和结果能够帮助研究者开发更强大的防御措施。

    Feb, 2018

  • 利用最优输运对对抗鲁棒性进行下界限制

    本文研究了机器学习分类器对抗样本（躲避攻击）的鲁棒性，使用最优传输来表征在这一场景下可能的最小损失。作者应用该框架研究了高斯数据的情况，并探究了鲁棒性训练神经网络在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上的最优分类性能与实际性能间的差距。

    Sep, 2019

  • 通过函数转换的对抗风险界

    本文提出了一种用于衡量线性和神经网络分类器对对抗干扰的鲁棒性的对抗风险概念，并通过对函数变换的界定来推导出对抗风险的上界，藉此解决了标准学习理论技术无法解决的问题。同时，还探讨了该理论对于多分类和回归的扩展，并提出了两种算法用于优化线性案例下的对抗风险界，并与正则化和分布鲁棒性进行了联系。

    Oct, 2018

  • 对抗学习的理论分析：一种极小极大的方法

    提出一种将对抗学习问题转化为极小极大问题分析风险界的一般性方法，并应用于多类分类问题中的 SVM、深度神经网络和 PCA 等，为此提出了一种新的基于 Lipschitz 条件弱版本的覆盖数的风险界，并改进了包含两个依赖于数据的项的界，以实现对抗鲁棒性。

    Nov, 2018

  • 丢失模型下敌对过量风险的非渐近边界

    我们提出了一种通用方法来评估基于对抗损失的鲁棒估计在错误模型下的性能，并研究了对抗估计器的泛化性能。

    Sep, 2023

  • 重新审视对抗风险

    本文研究对抗扰动和定义的问题，提出对现有定义的轻微修改，消除了对抗精度和标准测试精度之间的权衡，并证明了在新定义下存在既鲁棒又获得高标准准确性的分类器。

    Jun, 2018

  • 对抗鲁棒分类器的一致收敛性

    在对数据分类问题的不同类型的对抗扰动的影响方面，引入对抗性能力作为一个重要参数，以精确性和稳健性之间的权衡关系。本研究考虑对对抗性扰动分类问题的一般框架，在大数据或整体数据的情况下进行研究。在这样的情况下，我们证明了当对抗性强度趋近于零时，最优分类器在 Hausdorff 距离上收敛于贝叶斯分类器。这一结果显著增强了先前通常集中在 $L^1$ 型收敛上的研究成果。主要论证依赖于直接的几何比较，并受到几何测度理论技术的启发。

    Jun, 2024

  • 分类中分布参数与准确性 - 稳健性权衡的相互作用

    本文研究了在对抗训练中通过二元高斯混合分类问题的分析，得到最优贝叶斯分类器和最优对抗分类器之间的区别，并研究了不同分布参数（类别中心之间的距离、类别比例和协方差矩阵）对精度差异的影响，提出在一定条件下，平衡类别可以实现对抗分类器的自然误差和精度差距的局部最优化，并证明在最坏情况下精度差距为 Theta（epsilon^2），这在理论上表明了实现近乎完美精度的强健分类器的可能性，这在实际算法中很少体现。

    Jul, 2021