Mar, 2024

关于具有有限样本复杂度保证的对抗学习的鲁棒优化

PDF
TL;DR通过受支持向量机（SVM）边界启发，本文提出了一种新的对抗训练方法来提高鲁棒分类器对线性和非线性分类问题中不确定性的处理能力。我们通过数据驱动的视角来解释鲁棒性，并推导了二元和多类情景下线性和非线性分类器的有限样本复杂度界限。我们的算法通过线性规划（LP）和二阶锥规划（SOCP）来最小化最坏情况下的代理损失函数，适用于线性和非线性模型。在 MNIST 和 CIFAR10 基准数据集上的数值实验显示，我们的方法与最先进的方法相比具有可比性能，在训练过程中不需要对抗性示例。我们的工作提供了一个全面的框架，用于增强二元线性和非线性分类器的鲁棒性，在面对对手时保持学习的鲁棒性。
decision makinglearninguncertaintyadversarial attacksrobust classifiers
发现论文，激发创造
  • 拉格朗日对偶方法评估支持向量机的鲁棒性

    提出了一种方法，通过解决拉格朗日对偶问题来形式化支持向量机（SVM）的对抗鲁棒性评估，并在 MNIST 和 Fashion-MNIST 数据集上评估了具有线性和非线性内核的 SVM 的对抗鲁棒性，结果表明该方法的可证明鲁棒性比最先进技术要好。

    Jun, 2023

  • 半无限约束学习的对抗鲁棒性

    本文通过半无限优化和非凸对偶理论的研究，证明对抗性训练等价于在扰动分布上的统计问题，并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法，可以缓解鲁棒性与标准性能之间的平衡问题，并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。

    Oct, 2021

  • 抗逃逸攻击的强健学习中的样本复杂度

    从学习理论的角度研究鲁棒学习的可行性，考虑样本复杂性，研究了鲁棒学习在拥有随机样本、满足 Lipschitz 条件的数据分布和更强学习能力的情况下的对抗性攻击的脆弱性，提出了基于经验风险最小化的鲁棒算法，并给出了查询复杂性的上下界。

    Aug, 2023

  • 受对抗标签污染影响的支持向量机

    本文针对使用支持向量机（SVM）进行垃圾邮件和恶意软件检测等安全相关任务时存在的安全问题进行了探究，特别是研究了 SVM 对面向标签噪声攻击的安全性，并通过启发式方法解决了攻击策略的最优化问题，并在合成和实际数据集上进行了广泛的实验分析。最后，本文还指出，这种方法也可以为开发更安全的 SVM 学习算法以及半监督和主动学习等相关研究领域提供有用的见解。

    Jun, 2022

  • 关于强鲁棒分类的困难程度

    本文研究了机器学习模型对抗攻击的容易受攻击性问题，并从计算学习理论的角度探究了鲁棒学习的可行性和计算复杂度，并给出了相应的计算困难性证明。

    Sep, 2019

  • 来自计算限制的对抗性示例

    高维度分类器为何易受到 “对抗性” 扰动？本文中将阐述这种现象可能不是由于信息论的限制，而是由于计算约束所引起的。同时探讨了分类任务的一种特殊情况，即在高维空间中对于对抗扰动较大的学习是容易的，但是具有计算难度的。这种例子带来了对于经典学习和鲁棒性学习之间的计算复杂度的差异的新见解，并建议这种现象可能是学习算法计算能力所限制的必然副产品。

    May, 2018

  • 关于鲁棒性对抗样本和多项式优化的研究

    通过优化多项式优化问题的技术，我们设计了具有计算效率和可证明保证的鲁棒性算法，能够抵御测试时的对抗性干扰，特别地，针对线性分类器和二次多项式阈值函数（PTF）分类器，我们给出了其计算鲁棒性的代价的精确刻画，同时，我们还证明了用环境所提供的函数信息可以在有效时间内帮助生成对抗攻击样本，并证明这些攻击样本在实际数据上是有效的。

    Nov, 2019

  • 通过锥优化的鲁棒支持向量机

    使用混合整数优化技术得出一种新的损失函数，使之比现有方案更好地逼近 0-1 损失函数，同时保持学习问题的凸性，具有与标准支持向量机相竞争的性能，且在存在异常值时表现更好。

    Feb, 2024

  • 深度学习中对抗鲁棒性的机遇与挑战：综述

    本篇研究通过分类对抗性攻击和防御方法，提出三类半定界数理优化问题，即对抗 (再) 训练、正则化方法和认证防御，并调查了最近的研究成果和挑战以及展望未来的发展。

    Jul, 2020

  • 对于随机平滑分类器的严格对抗鲁棒性证明

    采用输入随机化生成的分类器的集合可以具有很强的鲁棒性，该方法可扩展到更广泛的分布，特别是在离散情况下保证敌对的鲁棒性，并给出了相应的算法，此外，该研究有助于通过假设分类器的函数类来提高保证，并且具有图像和分子数据集上的实际应用。

    Jun, 2019