通过学习优化器提高对抗训练

Apr, 2020

Improved Adversarial Training via Learned Optimizer

Yuanhao Xiong, Cho-Jui Hsieh

TL;DR本文介绍针对深度学习模型的对抗攻击防御机制之一 —— 双方博弈的对抗训练。作者将学习 - to-learn 框架应用于对抗训练中，利用递归神经网络训练出更加优秀的内部优化器，同时对优化器参数和模型参数进行联合训练，从而提高了模型的鲁棒性。

Abstract

adversarial attack has recently become a tremendous threat to deep learning models. To improve the robustness of machine learning models, adversarial training, formulated as a minimax optimization problem, has been recognized as one of the most effective defense mechanisms. However, th

adversarial attack deep learning models adversarial training learning-to-learn framework recurrent neural networks

发现论文，激发创造

通过最小值最大化优化实现的敌对攻击生成

本文利用多域最小最大优化的一般性框架，推进了不同类型的对抗性攻击设计，并展示了该统一框架在攻击目标函数，抵御多输入下的统一扰动，生成攻击和数据变换下的对抗攻击等方面的优异性能和整体性工具的作用。

Jun, 2019

不致死的攻击使对抗学习更强大

本研究提出了友好对抗训练 (FAT) 的新方法，其中通过提前停止最严格的对抗数据搜索算法，即早停止的 PGD，来最小化损失并利用自信的对抗数据更新当前模型，理论上可以通过对抗风险的上限来证明，实验证明不需要以自然泛化为代价也可以实现对抗强度。

Feb, 2020

健壮深度学习作为最优控制：洞见和收敛保证

研究了深度学习算法中存在的对抗性攻击问题，提供了一种新的对抗性训练算法，通过将最小 - 最大问题解释为最优控制问题进行优化，从而大幅度提高训练时间，并通过实验证明了该算法的稳定性和收敛性。

May, 2020

PDPGD: 原始 - 对偶近端梯度下降对抗性攻击

研究了基于优化问题的对抗攻击，使用双重变量来最小化对抗性噪声与规则化惩罚，针对非光滑 $p$- 范数进行极值点下降攻击，实验表明，比当前最先进的攻击方法在 MNIST、CIFAR-10 和受限制的 ImageNet 数据集上都优异表现。

Jun, 2021

对抗训练的收敛性和鲁棒性

本文提出了一种用于评估内部最大值的解决方法 ——FOSC，以量化评估在内部最大化期间找到的对抗性例子的收敛质量，结果表明，在训练后期使用收敛质量更好的对抗性例子是确保更好的稳健性所必需的，而在训练初期，高收敛质量的对抗性例子则并不是必需的，甚至可能导致差的鲁棒性，因此，我们提出了一种渐进式的动态训练策略，逐步提高生成的对抗性例子的收敛质量，从而显著提高了对抗训练的鲁棒性。

Dec, 2021

深度学习中对抗鲁棒性的机遇与挑战：综述

本篇研究通过分类对抗性攻击和防御方法，提出三类半定界数理优化问题，即对抗 (再) 训练、正则化方法和认证防御，并调查了最近的研究成果和挑战以及展望未来的发展。

Jul, 2020

对抗鲁棒性与模型压缩，还是两者兼顾？

本文提出了一种并发对抗训练和权重修剪的框架，可以在保持对抗鲁棒性的情况下实现模型压缩，同时解决对抗训练的困境，并进一步研究了关于传统设置下的权重修剪的两个假设。

Mar, 2019

通过 Taylor 展开的随机对抗训练

在此研究中，通过将随机噪声添加到确定性权重中，基于 Taylor 展开设计了一种新的对抗训练方法，可以调和抗干扰性和准确性之间的权衡，同时提高两者的表现。

Mar, 2023

基于图的去中心化对抗训练

研究在图形上进行分散敌对训练以提高多智能体系统的鲁棒性。通过使用传播学习的 min-max 形式，我们开发了一种分散的敌对训练框架，在凸和非凸环境中分析了所提出方案的收敛性，并说明了对抗攻击的增强鲁棒性。

Mar, 2023

同时训练，更好地泛化：基于梯度的极小极大学习器的稳定性

本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

Oct, 2020