重温长尾分布下的对抗训练

CVPRMar, 2024

Revisiting Adversarial Training under Long-Tailed Distributions

Xinli Yue, Ningping Mou, Qian Wang, Lingchen Zhao

TL;DR深度神经网络在对抗攻击中易受攻击，现有的对抗训练方法在平衡数据集上表现良好，但实际情况中长尾分布的数据样本下该方法的有效性存疑。本文研究了长尾分布下的对抗训练，发现仅利用平衡 Softmax 损失函数可以在降低训练开销的同时达到与之前方法相当的性能；此外，通过数据增强技术，我们发现长尾分布下的对抗训练不仅可以减轻过拟合问题，而且可以显著提高鲁棒性；我们还发现增加训练样本的多样性是提高鲁棒性的原因。在 CIFAR-10-LT 上的 AutoAttack 中，与 RoBal 相比，平衡 Softmax 损失函数与数据增强的组合能够使模型的鲁棒性提高 6.66%。

Abstract

deep neural networks are vulnerable to adversarial attacks, often leading to erroneous outputs. adversarial training has been recognized as one of the most effective methods to counter such attacks. However, exis

deep neural networks adversarial training long-tailed distributions data augmentation model robustness

发现论文，激发创造

长尾分布下的对抗鲁棒性

本文探讨了长尾分布下的对抗鲁棒性问题，并提出了一个名为 RoBal 的有效算法框架，该框架包括两个模块：一个尺度不变分类器和数据再平衡。

Apr, 2021

长尾分布上的对抗性训练

本文研究了在服从长尾分布的数据集上的对抗训练，相较于平衡数据集上的对抗训练，该过程会产生不均匀的对抗性样本和不平衡的特征嵌入空间，导致模型对尾部数据的鲁棒性和准确性低。为了解决这一问题，我们提出了一种新的对抗训练框架 —— 再平衡对抗训练（REAT），该框架包括两个组件：（1）通过有效数术语来指导模型生成更平衡和有信息的对抗性样本的新训练策略；（2）精心构建的惩罚函数来强制获得令人满意的特征空间。不同数据集和模型结构上的评估结果证明 REAT 可以有效提升模型的鲁棒性并保持模型的准确性。代码可以在此 URL 中找到。

Jul, 2023

通过隐式对抗数据增强提升模型的弹性

通过融入对抗性和反对抗性扰动分布，增强样本的深度特征，适应性调整学习困难以适应每个样本的特征。同时，开发了一种基于元学习的框架，通过引入增强的效果并跳过显式的增强过程，优化分类器。在长尾学习、广义长尾学习、嘈杂标记学习和子种群转移学习等四种常见偏差学习场景中进行了广泛实验，实证结果表明该方法始终达到最先进的性能水平，突显其广泛适应性。

Apr, 2024

长尾学习的分布鲁棒性损失

本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。

Apr, 2021

通过对预训练模型进行校准，在二进制网络上进行长尾识别

使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布，通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师，结合对目标函数术语的对抗平衡和高效的多分辨率学习方案，在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究，结果显示我们的方法在平均上大幅优于现有技术（>14.33%）。

Mar, 2024

对输入数据分布的敏感性对抗鲁棒性

在这篇论文中，我们发现通过在输入数据分布上进行语义保持的变换可以导致 Robust accuracy 的大幅度变化，而 clean accuracy 却没有变化，这表明输入数据分布可以影响神经网络的 Adversarial robustness。

Feb, 2019

仅进行数据增强即可改善对抗训练

本文证明了，与先前的研究相反，仅凭借数据增强，可以显着提高对抗训练的准确性和鲁棒性，数据增强的多样性和难度是提高训练效果的重要因素。作者提出了新的数据增强方案，并通过实验验证，达到了对抗训练中数据增强的最佳效果。

Jan, 2023

长尾数据的特征空间增强

本文提出了一种新方法，通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别，从而解决长尾分布问题。通过使用类别激活映射，将每个类别的特征分解为类别通用和类别特定部分，并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合，实时生成新样本。结果表明，在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上，本文所提出的方法展现了最先进的表现水平。

Aug, 2020

标签噪声下的鲁棒长尾学习

研究了在长尾标签分布下标签噪声问题，提出了一种新的原型噪声检测方法及一个鲁棒的框架，该框架通过软伪标签技术和半监督学习算法进一步提高了泛化性能，并且在基准和真实数据集上表现优于现有基线模型，尤其是比 DivideMix 模型测试精度高出 3％。

Aug, 2021

AdAUC: 针对长尾问题的端到端对抗 AUC 优化

本文研究了在长尾数据集上进行对抗训练的问题，提出了一种基于 AUC 优化的方法，并通过正则化和梯度计算解决了目标函数中正负样本紧密耦合的问题。实验结果表明该方法在长尾数据集上表现出色。

Jun, 2022