对抗训练的规范不可知鲁棒性
本文探讨应对不同规范的对抗性攻击所产生的难题,并提供了一些理论和经验性的见解,讨论如何结合现有的防御机制来提高神经网络的鲁棒性。实验结果表明,这些新的防御机制能更好地保护神经网络不受两种规范攻击。
Mar, 2019
针对对抗样本的防御,如对抗训练,通常针对单个干扰类型(例如小的 l∞- 噪声),对于其它类型的干扰,这些防御没有保障,甚至会增加模型的脆弱性。我们的目标是了解这种鲁棒性取舍背后的原因,并训练同时对多种扰动类型具有鲁棒性的模型。
Apr, 2019
该研究论文探讨了对抗性样本及训练,以及如何生成更强的对抗性样本以提高鲁棒性,介绍了集成对抗性训练技术,并表明在 ImageNet 数据集上应用该技术可以显著提高模型的鲁棒性。
May, 2017
探索对抗训练的极限,发现了通过结合更大的模型、Swish/SiLU 激活函数和模型权重平均化可以训练出强健模型,同时在 CIFAR-10 和 CIFAR-100 数据集上有了大幅度的提升。
Oct, 2020
本文演示了对扰动型对抗样本的稳健性不仅不足以实现普遍的稳健性,而且它还会增加模型对于不变性型对抗样本的脆弱性,并呼吁一组精确的定义来对学习中的这些限制进行分类和解决。
Mar, 2019
通过对敌对学习及攻击的深入探究,我们发现在敌对性训练的模型中,用微小的随机噪声扰动部分攻击样本能够破坏其误导性预测,为此我们提出了一种有效的防御方法,是通过制造更加有效的防御扰动方法,利用敌对训练降低了地面真实的局部 Lipschitzness,同时攻击所有类别,将误导的预测转换为正确的预测,这种方法在经验实验证明有效。
Jun, 2021
本文通过半无限优化和非凸对偶理论的研究,证明对抗性训练等价于在扰动分布上的统计问题,并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法,可以缓解鲁棒性与标准性能之间的平衡问题,并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。
Oct, 2021
本文探讨了神经网络对分布偏移的敏感性问题解决方案中的对抗训练,以及了解到神经网络与人类理解不同的处理方式,更进一步地研究对抗训练对于神经网络偏向形状的影响并给出可能的解释,从频率角度分析了其效果。
Mar, 2023