通过重新加权优化轨迹增强对抗训练

Jun, 2023

通过重新加权优化轨迹增强对抗训练

Enhancing Adversarial Training via Reweighting Optimization Trajectory

Tianjin Huang, Shiwei Liu, Tianlong Chen, Meng Fang, Li Shen...

TL;DR本文提出了一种名为 WOT 的新方法，该方法利用对抗训练的历史优化轨迹，以改善在对抗攻击下的鲁棒性，并在多种最先进的对抗攻击中表现出高效性。

Abstract

Despite the fact that adversarial training has become the de facto method for improving the robustness of deep neural networks, it is well-known that vanilla →

adversarial training robustness optimization trajectories overfitting adversarial attacks

发现论文，激发创造

对抗性权重扰动有助于稳健泛化

本文研究了通过对抗性样本训练神经网络的鲁棒性问题，提出了通过实现加权损失对抗扰动机制进行对抗性训练的方案，从而解决了加权损失在以往对抗性训练中的不足。

Apr, 2020

分布式鲁棒优化下的随机重新加权梯度下降

本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示学习等各种任务中提高性能。该方法在 DomainBed 和 Tabular 基准测试中的表现比 SOTA 提高了 0.7% 和 1.44%，对 GLUE 基准测试中的 BERT 表现提升了 1.94%，对 ImageNet-1K 中的 ViT 表现提升了 0.9%，证明了该方法的有效性和潜力。

Jun, 2023

双重稳健实例重新加权对抗训练

提出一种新型的双重鲁棒性实例重新加权的对抗训练 (AT) 框架，通过探索分布鲁棒优化技术获得重要性权重，并在最脆弱的示例上提高鲁棒性。

Aug, 2023

针对对抗训练的漏洞感知实例加权

通过实验，我们提出了一种新的基于实例的重加权方案，其考虑每个自然样本的易受攻击性和由对抗攻击导致的其对应的丢失信息，这对现有的加权方案表现有着显著提高，特别是对抗强白箱和黑箱攻击。

Jul, 2023

几何感知实例再加权对抗训练

这篇研究论文介绍了一种新的对抗训练方法，通过根据自然数据点到分类边界的远近来赋予不同的权重，以提高模型的鲁棒性和准确性。

Oct, 2020

通过 Taylor 展开的随机对抗训练

在此研究中，通过将随机噪声添加到确定性权重中，基于 Taylor 展开设计了一种新的对抗训练方法，可以调和抗干扰性和准确性之间的权衡，同时提高两者的表现。