Jul, 2023

长尾分布上的对抗性训练

PDF
TL;DR本文研究了在服从长尾分布的数据集上的对抗训练，相较于平衡数据集上的对抗训练，该过程会产生不均匀的对抗性样本和不平衡的特征嵌入空间，导致模型对尾部数据的鲁棒性和准确性低。为了解决这一问题，我们提出了一种新的对抗训练框架 —— 再平衡对抗训练（REAT），该框架包括两个组件：（1）通过有效数术语来指导模型生成更平衡和有信息的对抗性样本的新训练策略；（2）精心构建的惩罚函数来强制获得令人满意的特征空间。不同数据集和模型结构上的评估结果证明 REAT 可以有效提升模型的鲁棒性并保持模型的准确性。代码可以在此 URL 中找到。
发现论文，激发创造
  • 重温长尾分布下的对抗训练

    深度神经网络在对抗攻击中易受攻击，现有的对抗训练方法在平衡数据集上表现良好，但实际情况中长尾分布的数据样本下该方法的有效性存疑。本文研究了长尾分布下的对抗训练，发现仅利用平衡 Softmax 损失函数可以在降低训练开销的同时达到与之前方法相当的性能；此外，通过数据增强技术，我们发现长尾分布下的对抗训练不仅可以减轻过拟合问题，而且可以显著提高鲁棒性；我们还发现增加训练样本的多样性是提高鲁棒性的原因。在 CIFAR-10-LT 上的 AutoAttack 中，与 RoBal 相比，平衡 Softmax 损失函数与数据增强的组合能够使模型的鲁棒性提高 6.66%。

    Mar, 2024

  • 长尾分布下的对抗鲁棒性

    本文探讨了长尾分布下的对抗鲁棒性问题，并提出了一个名为 RoBal 的有效算法框架，该框架包括两个模块：一个尺度不变分类器和数据再平衡。

    Apr, 2021

  • Breadcrumbs: 对抗平衡采样方法应用于长尾识别

    本文提出了一种基于特征空间增强的新型增强策略 EMANATE，与基于类平衡采样的对抗性增强策略 Breadcrumb 相比，EMANATE 更容易过拟合，但是 Breadcrumb 训练的分类器在三个流行的长尾识别数据集上表现出比现有解决方案更好的性能。

    May, 2021

  • 基于 Reweighting 的不平衡对抗训练

    本文通过对失衡数据集的对抗训练模型进行实验，提出了数据特征可分性差是影响训练效果提升的重要原因，并在此基础上提出了一种分离式权重对抗训练（SRAT）方法，在各种数据集上验证了该方法的有效性。

    Jul, 2021

  • AdAUC: 针对长尾问题的端到端对抗 AUC 优化

    本文研究了在长尾数据集上进行对抗训练的问题，提出了一种基于 AUC 优化的方法，并通过正则化和梯度计算解决了目标函数中正负样本紧密耦合的问题。实验结果表明该方法在长尾数据集上表现出色。

    Jun, 2022

  • 长尾数据的特征空间增强

    本文提出了一种新方法，通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别，从而解决长尾分布问题。通过使用类别激活映射，将每个类别的特征分解为类别通用和类别特定部分，并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合，实时生成新样本。结果表明，在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上，本文所提出的方法展现了最先进的表现水平。

    Aug, 2020

  • 通过平衡对抗训练来提高模型的稳健公平性

    本文提出了平衡对抗训练（Balance Adversarial Training）方法，用于解决在对抗训练中不同类别间的鲁棒性和准确性存在严重失衡的问题。通过对两种不公平现象进行观察，即不同类别的对抗样本生成难度差异（源类别公平）和生成对抗样本时不同类别存在不公平偏向（目标类别公平），引入适当的攻击强度和均匀分布约束等措施，能够显著提升指标和缓解鲁棒公平问题。

    Sep, 2022

  • 通过对预训练模型进行校准，在二进制网络上进行长尾识别

    使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布，通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师，结合对目标函数术语的对抗平衡和高效的多分辨率学习方案，在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究，结果显示我们的方法在平均上大幅优于现有技术（>14.33%）。

    Mar, 2024

  • 面向长尾视觉识别的特征平衡损失

    本文提出了通过使用平衡的特征损失，通过课程学习来加强长尾类别的激励，强化尾部类别的特征规范，从而提高了长尾问题的性能，并在多个受欢迎的长尾识别基准上实现了优越的性能增益。

    May, 2023

  • 平衡、不平衡与再平衡：从极小极大博弈角度理解鲁棒过拟合

    对抗训练中学习率衰减引起的非鲁棒特征记忆和非鲁棒过拟合问题进行了研究，并提出了重新平衡对抗训练方法以缓解这一问题。

    Oct, 2023