对抗分布式训练用于强健深度学习

Feb, 2020

对抗分布式训练用于强健深度学习

Adversarial Distributional Training for Robust Deep Learning

Yinpeng Dong, Zhijie Deng, Tianyu Pang, Hang Su, Jun Zhu

TL;DR本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

Abstract

adversarial training (AT) is among the most effective techniques to improve model robustness by augmenting training data with adversarial examples. However, most existing AT methods adopt a specific attack to cra

adversarial training robustness adversarial distributional training minimax optimization worst-case adversarial distributions

发现论文，激发创造

面向数据中心强健学习的抵抗基于迁移的对抗性攻击的深度学习模型

该研究提出了一种名为数据中心稳健学习（DRL）的新的防御范例，通过在训练之前进行一次性的对抗性增强来提高对迁移攻击的稳健性，并且在黑盒稳健性上超过了多种常用的对抗训练技术。此外，DRL 还具有模型的泛化能力和稳健公平性。

Oct, 2023

针对视频分类的对抗训练分析与扩展

本文提出了三种防御方法来增强对多种攻击类型的鲁棒性，包括自适应防御技术 Adaptive AT，课程式防御技术 Curriculum AT 和将 AT 与去噪生成对抗网络相结合的生成式防御技术 Generative AT，并在 UCF101 数据集上进行了实验。

Jun, 2022

增强扩散以提高强健性泛化能力

本文提出了一种名为 Diffusion Enhanced Adversarial Training (DEAT) 的新方法，以改善 Adversarial Training 中的 generalization 问题，理论上证明了 DEAT 比主要 AT 框架 ——Projected Gradient Descent Adversarial Training (PGD-AT) 更紧密的泛化界限，并通过广泛的实证调查证实了 DEAT 的优越性。

Jun, 2023

在对抗训练中提高最劣鲁棒性

本文提出了一种最差类对抗训练（worst-class adversarial training）的新框架，利用无悔动态来解决对抗样本攻击的问题，旨在获得在最差情况下表现优异的分类器，并在同时仅牺牲少量平均鲁棒性。作者在各种数据集和网络上的实验证明了该方法超越了现有方法。

Feb, 2023

对抗训练在对抗鲁棒性方面的最新进展

该研究论文系统地回顾了针对深度学习模型的对抗训练在对抗鲁棒性方面的最新进展，并从三个视角讨论了对抗训练中的泛化问题，同时指出了尚未完全解决的挑战并提出潜在的未来研究方向。

Feb, 2021

理解和提高 Frank-Wolfe 对抗训练的效率

通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。

Dec, 2020

分布对抗损失

对抗攻击的一个主要挑战是可能的攻击方法的庞大空间，本研究引入了一种称为分布对抗损失的新概念，旨在统一随机平滑和输入离散化两种有效削弱攻击者影响的方法。我们证明我们的概念具有 VC 维度和每个输入关联的允许对抗分布集合的大小方面的泛化保证，并通过实验证实该过程，改进了模型对各种对抗攻击的鲁棒性。

Jun, 2024

走向公平感知的对抗学习

在这篇论文中，我们提出了一种名为公平感知对抗学习（FAAL）的新的学习范式，通过将鲁棒训练问题重新定义为最小 - 最大 - 最大框架，以确保训练模型的鲁棒性和公平性。具体而言，通过利用分布鲁棒优化，我们的方法旨在在不同类别之间找到最差的分布，解决方法保证了高概率的上界性能。FAAL 可以在仅两个迭代周期内将一个不公平的鲁棒模型调整为公平模型，而不牺牲整体准确性和鲁棒性，实验证明了 FAAL 相对于其他先进方法的卓越性能和高效性。

Feb, 2024

集成对抗训练：攻击和防御

该研究论文探讨了对抗性样本及训练，以及如何生成更强的对抗性样本以提高鲁棒性，介绍了集成对抗性训练技术，并表明在 ImageNet 数据集上应用该技术可以显著提高模型的鲁棒性。

May, 2017

通过教师集合的适应性知识融合进行对抗训练

通过教师集合的知识自适应融合，以解决深度神经网络在对抗样本训练中的两个问题：在小模型中实现稳健性和对未知攻击类型的脆弱性。

May, 2024