一个多分类提升框架,实现快速和可证明的对抗鲁棒性
本文提出使用对抗训练来提高基于随机平滑的分类器的效果,并设计一种适应平滑分类器的攻击方法,通过大量实验,得出这种方法在ImageNet和CIFAR-10上的性能显著胜过所有现有的可证明的L2-强健分类器,证明了这种方法是可靠的,且半监督学习和预训练能够进一步提高其效果。
Jun, 2019
深度学习领域的对抗攻击和防御是目前研究的活跃领域。本文针对防御方法进行分类,提出了不同的分类方法:通过增加特征向量的类内紧凑性和类间分隔性来提高对抗鲁棒性,减小或移除非鲁棒图像特征来提高对抗鲁棒性。通过这种重新构架话题的方式,提供了新的视角,深入探讨使网络变得更加强健的潜在因素,启发了更多的解决方案。此外,文献中有一些关于对抗防御成本问题和鲁棒性与准确性之间的权衡的论述,但我们提出的分类方法可以解决这些问题。本文提出了几项挑战,以此推动深度学习研究的进一步发展。
Oct, 2019
提出了一个基于对抗训练和可证明的强健性验证相结合的原则性框架,用于训练可证明强健的神经网络,并开发了一个新的梯度下降技术,可以消除随机多梯度中的偏差。 通过理论分析该技术的收敛性和与现有技术的实验比较,对 MNIST 和 CIFAR-10 的结果表明,所提出的方法可以始终匹配或优于过去的方法,特别是在 MNIST 的 epsilon = 0.3时,达到了6.60%的验证测试错误率,在 CIFAR-10上达到了66.57%(epsilon = 8/255)。
Aug, 2020
本文研究了对抗训练中的类别鲁棒性问题,提出了一种基于温度的PGD攻击方法,并对训练和推断阶段进行了改进,以降低类别鲁棒性差异。实验结果表明,该方法可以取得更高的攻击成功率。
May, 2021
本文通过半无限优化和非凸对偶理论的研究,证明对抗性训练等价于在扰动分布上的统计问题,并对此进行完整的表征。我们提出一种基于Langevin Monte Carlo的混合方法,可以缓解鲁棒性与标准性能之间的平衡问题,并取得了MNIST和CIFAR-10等领域最先进的结果。
Oct, 2021
介绍了一种用于提高仅具有弱对抗性鲁棒性的学习算法对抗性鲁棒性的oracle-efficient算法,提出了仅具有弱对抗性鲁棒性的学习算法需要更大扰动集的概念,这对于强对抗性鲁棒性学习来说是必要的。研究结果揭示了两个看似不相关的问题之间的定性和定量等价:强对抗性鲁棒性和仅具有弱对抗性鲁棒性的学习。
Feb, 2022
本文全面综述了深度神经网络在模式识别中的鲁棒性问题,尤其是针对对抗样本的鲁棒性训练方法,从基础概念、理论模型、算法方法等不同角度进行了系统、结构化的调查和讨论。
Mar, 2022
本文提出了一种最差类对抗训练(worst-class adversarial training)的新框架,利用无悔动态来解决对抗样本攻击的问题,旨在获得在最差情况下表现优异的分类器,并在同时仅牺牲少量平均鲁棒性。作者在各种数据集和网络上的实验证明了该方法超越了现有方法。
Feb, 2023
本研究解决了深度神经网络面临的对抗性攻击问题,提出了一种通过多分辨率输入表示和动态自我集成中间层预测来实现高质量表示的新方法。研究表明,中间层预测对抗攻击具有内在的鲁棒性,并通过名为“CrossMax”的聚合机制实现了显著的对抗鲁棒性,在CIFAR-10和CIFAR-100上取得了与顶尖模型相媲美的结果,推动了对抗训练效果的提升。
Aug, 2024