Jul, 2019

局部线性化对抗鲁棒性

PDF
TL;DR本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。
adversarial trainingdeep neural networksgradient obfuscationregularizerrobustness
发现论文，激发创造
  • 对抗训练线性回归的正则化性质

    最新机器学习模型存在脆弱性，而对抗训练是一种有效方法，本研究着重探究线性模型下的脆弱性，并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。

    Oct, 2023

  • 曲率正则化带来的鲁棒性及其相反情况

    本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。

    Nov, 2018

  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • 通过正则化对抗梯度实现神经网络的鲁棒训练

    通过限制神经网络的对抗梯度并增加对抗性样本生成的难度，提高了神经网络的鲁棒性，使其能够抵御各种类型的对抗性攻击，特别是迁移攻击。

    May, 2018

  • 关于对抗训练的泛化性质

    本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

    Aug, 2020

  • 半无限约束学习的对抗鲁棒性

    本文通过半无限优化和非凸对偶理论的研究，证明对抗性训练等价于在扰动分布上的统计问题，并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法，可以缓解鲁棒性与标准性能之间的平衡问题，并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。

    Oct, 2021

  • 使用高效的分层对抗训练正则化深度网络

    研究表明，对深度神经网络进行对抗训练可以规范化网络，同时提高其对抗样本的鲁棒性。本文提出通过扰动中间层激活来进行对抗训练，发现与只扰动输入相比，扰动中间层激活的优势在于训练非常深的模型时可以提高性能。实验结果展示了所提出的对抗训练方法的优越性。

    May, 2017

  • 对抗训练的规范不可知鲁棒性

    本文研究对抗样本攻击机器学习模型并提出一种新的攻击方法，证明最先进的对抗训练方法无法同时获得对 $\ell_2$ 和 $\ell_\infty$ 范数的健壮性，提出可能的解决方案及其局限性。

    May, 2019

  • 深度防御：用改进的对抗训练训练 DNNs 提高其鲁棒性

    本文提出了一种名为 “deep defense” 的训练方法来解决深度神经网络易受到对抗样本攻击的问题，通过将对抗扰动的正则化器与分类目标相结合，得到的模型能够直接且准确地学习抵御潜在的攻击，实验证明该方法在不同数据集上对比对抗 / Parseval 正则化方法有更好的效果。

    Feb, 2018

  • 线性回归的对抗训练中的精确权衡

    本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用，给出了任何算法能够实现的准确度之间的基本权衡，并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。

    Feb, 2020