∞范数的健壮性与更多因素:高效对抗训练技术的实现
本文探讨应对不同规范的对抗性攻击所产生的难题,并提供了一些理论和经验性的见解,讨论如何结合现有的防御机制来提高神经网络的鲁棒性。实验结果表明,这些新的防御机制能更好地保护神经网络不受两种规范攻击。
Mar, 2019
针对对抗样本的防御,如对抗训练,通常针对单个干扰类型(例如小的l∞-噪声),对于其它类型的干扰,这些防御没有保障,甚至会增加模型的脆弱性。我们的目标是了解这种鲁棒性取舍背后的原因,并训练同时对多种扰动类型具有鲁棒性的模型。
Apr, 2019
本文研究对抗样本攻击机器学习模型并提出一种新的攻击方法,证明最先进的对抗训练方法无法同时获得对$\ell_2$和$\ell_\infty$范数的健壮性,提出可能的解决方案及其局限性。
May, 2019
通过使用快速梯度符号方法(FGSM)来作为对抗样本的构造方法,使得对抗训练的代价不比标准训练更高,而且FGSM对抗训练与PGD对抗训练效果相当。最后,我们还研究了FGSM对抗训练的“灾难性过拟合”失败模式。
Jan, 2020
本文提出了一种平滑对抗训练方法(SAT),它利用课程学习的思想对对抗训练过程进行平滑处理,提高了对抗训练的稳定性并在干净精度与鲁棒性之间实现了更好的权衡,具体方法基于海森矩阵的特征值以及softmax概率,实验结果显示该方法在CIFAR-100和Imagenette数据集上比AT方法显著提升了干净度与鲁棒度。
Mar, 2020
本文通过实验研究快速对抗训练的行为并显示其成功的关键在于从过度拟合弱攻击中恢复。我们进一步扩展了这一发现以改善快速对抗训练,展示了与强对抗训练相比更优异的鲁棒性准确性以及更短的训练时间。
Jun, 2020
探索对抗训练的极限,发现了通过结合更大的模型、Swish/SiLU激活函数和模型权重平均化可以训练出强健模型,同时在CIFAR-10和CIFAR-100数据集上有了大幅度的提升。
Oct, 2020
本文提出离散对抗攻击的在线增强方法,使用基于最佳优先搜索和随机抽样的攻击策略来生成对抗性样本,结果表明使用随机抽样方法能够显著提高鲁棒性,而且比之前使用的离线增强方法速度提高了约10倍。
Apr, 2021
本文通过半无限优化和非凸对偶理论的研究,证明对抗性训练等价于在扰动分布上的统计问题,并对此进行完整的表征。我们提出一种基于Langevin Monte Carlo的混合方法,可以缓解鲁棒性与标准性能之间的平衡问题,并取得了MNIST和CIFAR-10等领域最先进的结果。
Oct, 2021