ICMLDec, 2021

对抗训练的收敛性和鲁棒性

PDF
TL;DR本文提出了一种用于评估内部最大值的解决方法 ——FOSC，以量化评估在内部最大化期间找到的对抗性例子的收敛质量，结果表明，在训练后期使用收敛质量更好的对抗性例子是确保更好的稳健性所必需的，而在训练初期，高收敛质量的对抗性例子则并不是必需的，甚至可能导致差的鲁棒性，因此，我们提出了一种渐进式的动态训练策略，逐步提高生成的对抗性例子的收敛质量，从而显著提高了对抗训练的鲁棒性。
发现论文，激发创造
  • FGSM 和 PGD 对抗训练之间性能差距的缩小

    该研究利用弯曲正则化方法，将快速梯度符号方法（FGSM）扩展为可实现 adversarial robustness，并比 adversarial projected gradient decent 攻击方法（PGD）具有更高的训练效率。在 MNIST 数据集白盒攻击下，表现与 adv.PGD 相当，在 CIFAR-10 数据集转移攻击上表现更好。

    Nov, 2020

  • 通过学习优化器提高对抗训练

    本文介绍针对深度学习模型的对抗攻击防御机制之一 —— 双方博弈的对抗训练。作者将学习 - to-learn 框架应用于对抗训练中，利用递归神经网络训练出更加优秀的内部优化器，同时对优化器参数和模型参数进行联合训练，从而提高了模型的鲁棒性。

    Apr, 2020

  • 健壮深度学习作为最优控制：洞见和收敛保证

    研究了深度学习算法中存在的对抗性攻击问题，提供了一种新的对抗性训练算法，通过将最小 - 最大问题解释为最优控制问题进行优化，从而大幅度提高训练时间，并通过实验证明了该算法的稳定性和收敛性。

    May, 2020

  • 减少梯度逼近的对抗训练成本

    采用梯度逼近的对抗训练方法能够减少建立稳健模型的成本，而对于常见数据集如 MNIST、CIFAR-10 和 CIFAR-100，该方法在训练时间上节省了高达 60% 的时间，并且在模型测试准确性上没有明显损失。

    Sep, 2023

  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

    Jan, 2020

  • TextGrad: 基于梯度驱动优化的 NLP 鲁棒性评估进展

    在 NLP 领域缺乏第一阶梯度的鲁棒性评价框架，本文提出 TextGrad，一种新的基于梯度驱动的攻击生成器，支持高准确性和高质量的文本鲁棒性评估，并通过实验验证了其在攻击生成和防御等方面的有效性。

    Dec, 2022

  • 关于强健的过拟合：对抗训练引起的分布问题

    该研究论文探讨了对抗训练中的鲁棒性过拟合现象及其与扰动诱导分布的泛化困难性之间的相关性，提供了一个新的上界，其中称为 “局部离散性” 的扰动算子发挥了重要作用。

    Nov, 2023

  • 仅需简单微调：通过对抗微调实现鲁棒深度学习

    本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法，该方法通过有效的学习率调度策略显著降低了计算成本，同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明，该方法在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法，同时将计算成本降低了 8-10 倍，并能够改善任何经过预训练的深度神经网络的鲁棒性，而无需从头开始训练模型。

    Dec, 2020

  • 分布式对抗攻击

    本文提出了一种解决最优对抗数据分布的方法 —— 分布式对抗攻击（DAA），通过在潜在数据分布空间上进行优化，使攻击样本具有更好的泛化性，实验表明其在对抗训练的模型上的攻击效果优于其他对抗攻击方法。

    Aug, 2018

  • 不致死的攻击使对抗学习更强大

    本研究提出了友好对抗训练 (FAT) 的新方法，其中通过提前停止最严格的对抗数据搜索算法，即早停止的 PGD，来最小化损失并利用自信的对抗数据更新当前模型，理论上可以通过对抗风险的上限来证明，实验证明不需要以自然泛化为代价也可以实现对抗强度。

    Feb, 2020