本文介绍了一种新型的正则化方法,该正则化方法鼓励在训练数据附近的损失行为呈线性,从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验,我们展示了使用我们的正则化方法训练的模型避免了梯度混淆,并且比对抗训练能够更快地训练。使用这种正则化方法,我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。
Jul, 2019
本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用,给出了任何算法能够实现的准确度之间的基本权衡,并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。
Feb, 2020
本论文研究了一种泛用的对抗训练算法的泛化性能,并考虑了线性回归模型和两层神经网络(使用平方损失)在低维和高维情况下的表现,其中,我们发现数据内插会防止对抗性鲁棒估算器的一致性,因此,我们引入 L1 惩罚,在高维对抗学习中,证明了它可以导致一致的对抗性鲁棒估计。
Aug, 2020
本文研究了对抗训练对分类景观和决策边界几何形态的影响,展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法,并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。
Nov, 2018
本文研究对抗样本攻击机器学习模型并提出一种新的攻击方法,证明最先进的对抗训练方法无法同时获得对 $\ell_2$ 和 $\ell_\infty$ 范数的健壮性,提出可能的解决方案及其局限性。
May, 2019
采用 ReLU 激活函数和多项式宽度网络,在自然条件下实现对抗性训练的收敛理论,且证明了近似阶跃函数的 ReLU 网络有独立兴趣。
本文研究神经网络的鲁棒性问题,通过对抗训练的方法提高神经网络对抗扰动的鲁棒性。研究表明,通过对抗训练,网络可以收敛到一个鲁棒的分类器,传统的交叉熵损失函数不适用于训练鲁棒的分类器,也因此需要引入代理损失,并证明鲁棒插值需要更大的模型容量。
Jun, 2019
本文通过半无限优化和非凸对偶理论的研究,证明对抗性训练等价于在扰动分布上的统计问题,并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法,可以缓解鲁棒性与标准性能之间的平衡问题,并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。
Oct, 2021
本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上,我们推导了一种具有极小 - 极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。
Oct, 2020
本文对于在再生核希尔伯特空间中采用对抗训练和加噪数据增强的正则化回归方法进行了研究,发现这两种方法在一些情况下可能导致过拟合,但通过选择适当的正则化参数,这两种方法可以优于标准的核回归,实现小的广义误差和利普希茨常数。
Apr, 2023