自由对抗性训练中的稳定性和泛化能力
本论文研究了一种泛用的对抗训练算法的泛化性能,并考虑了线性回归模型和两层神经网络(使用平方损失)在低维和高维情况下的表现,其中,我们发现数据内插会防止对抗性鲁棒估算器的一致性,因此,我们引入 L1 惩罚,在高维对抗学习中,证明了它可以导致一致的对抗性鲁棒估计。
Aug, 2020
提出了一个使用鲁棒性优化(RO)增加人工神经网络(ANN)本地稳定性的通用框架。该算法是通过替代最小化 - 最大化过程实现的,该网络的损失是在每个参数更新时生成的扰动样本上最小化的。实验结果表明,该方法提高了网络对现有敌对示例的鲁棒性,同时使生成新的敌对示例更加困难,而且该算法还提高了网络在原始测试数据上的准确性。
Nov, 2015
本文通过半无限优化和非凸对偶理论的研究,证明对抗性训练等价于在扰动分布上的统计问题,并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法,可以缓解鲁棒性与标准性能之间的平衡问题,并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。
Oct, 2021
本文研究了对抗训练在提高鲁棒精度(对抗方面)的同时又有可能降低标准精度(没有对抗方面)。通过构造凸学习问题,我们发现鲁棒精度和泛化能力之间存在基本的紧张关系,而利用未标记的数据进行鲁棒自我训练可以消除这种关系。
Jun, 2019
该研究论文探讨了对抗训练中的鲁棒性过拟合现象及其与扰动诱导分布的泛化困难性之间的相关性,提供了一个新的上界,其中称为 “局部离散性” 的扰动算子发挥了重要作用。
Nov, 2023
本文研究了深度神经网络对通用对抗扰动(UAP)的脆弱性,提出了一种名为随机梯度聚合(SGA)的简单有效方法,用于缓解梯度消失和逃离贫弱局部最优问题,并证实在标准 ImageNet 数据集上表现优于其他最先进方法。
Aug, 2023
本文研究了对抗扰动现象,并推导了任何分类函数的鲁棒性的基本上界,以及证明了存在跨不同分类器传递的具有小风险的对抗扰动。研究显示了生成模型的关键属性,如平滑性和潜在空间的维度,并提供了信息量大的鲁棒性基线。
Feb, 2018
本研究提出了友好对抗训练 (FAT) 的新方法,其中通过提前停止最严格的对抗数据搜索算法,即早停止的 PGD,来最小化损失并利用自信的对抗数据更新当前模型,理论上可以通过对抗风险的上限来证明,实验证明不需要以自然泛化为代价也可以实现对抗强度。
Feb, 2020