双重稳健实例重新加权对抗训练

Aug, 2023

Doubly Robust Instance-Reweighted Adversarial Training

Daouda Sow, Sen Lin, Zhangyang Wang, Yingbin Liang

TL;DR提出一种新型的双重鲁棒性实例重新加权的对抗训练 (AT) 框架，通过探索分布鲁棒优化技术获得重要性权重，并在最脆弱的示例上提高鲁棒性。

Abstract

Assigning importance weights to adversarial data has achieved great success in training adversarially robust networks under limited model capacity. However, existing instance-reweighted adversarial training (AT)

adversarial data adversarial robustness instance-reweighted adversarial training distributionally robust optimization kl-divergence regularized loss function

发现论文，激发创造

针对对抗训练的漏洞感知实例加权

通过实验，我们提出了一种新的基于实例的重加权方案，其考虑每个自然样本的易受攻击性和由对抗攻击导致的其对应的丢失信息，这对现有的加权方案表现有着显著提高，特别是对抗强白箱和黑箱攻击。

Jul, 2023

几何感知实例再加权对抗训练

这篇研究论文介绍了一种新的对抗训练方法，通过根据自然数据点到分类边界的远近来赋予不同的权重，以提高模型的鲁棒性和准确性。

Oct, 2020

在对抗训练中提高最劣鲁棒性

本文提出了一种最差类对抗训练（worst-class adversarial training）的新框架，利用无悔动态来解决对抗样本攻击的问题，旨在获得在最差情况下表现优异的分类器，并在同时仅牺牲少量平均鲁棒性。作者在各种数据集和网络上的实验证明了该方法超越了现有方法。

Feb, 2023

评估基于几何感知实例重新加权的对抗训练鲁棒性

本技术报告评估了一种最近开发的名为 “几何感知实例加权对抗训练” 的方法在 CIFAR-10 数据集上对抗性攻击的鲁棒性。通过使用 PGD 攻击来计算了该方法的脆弱性，并解释了导致该方法易受攻击的原因。

Mar, 2021

分布式鲁棒优化下的随机重新加权梯度下降

本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示学习等各种任务中提高性能。该方法在 DomainBed 和 Tabular 基准测试中的表现比 SOTA 提高了 0.7% 和 1.44%，对 GLUE 基准测试中的 BERT 表现提升了 1.94%，对 ImageNet-1K 中的 ViT 表现提升了 0.9%，证明了该方法的有效性和潜力。

Jun, 2023

通过重新加权优化轨迹增强对抗训练

本文提出了一种名为 WOT 的新方法，该方法利用对抗训练的历史优化轨迹，以改善在对抗攻击下的鲁棒性，并在多种最先进的对抗攻击中表现出高效性。

Jun, 2023

AROID：通过在线逐实例数据增强提高对抗鲁棒性

该论文提出了一种新的方法，通过在线实例化学习数据增强策略来提高 Deep neural networks 的 Adversarial training 的鲁棒性，在多个模型结构和数据集上成功地超越了现有的竞争性数据增强方法。

Jun, 2023

基于 Reweighting 的不平衡对抗训练

本文通过对失衡数据集的对抗训练模型进行实验，提出了数据特征可分性差是影响训练效果提升的重要原因，并在此基础上提出了一种分离式权重对抗训练（SRAT）方法，在各种数据集上验证了该方法的有效性。

Jul, 2021

对抗分布式训练用于强健深度学习

本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

Feb, 2020

通过卷积核的权重分布重新考虑准确性和鲁棒性的权衡

研究表明对抗攻击是深度神经网络的潜在威胁，本文提出了一种动态网络架构 AW-Net，通过梯度规范化、分化处理和根据输入样本调整网络权重的方法，实现了同时提高准确性和鲁棒性的性能。

Jun, 2023