Aug, 2020

使用 Mixup 和有针对性的标签对抗训练以提高神经网络的稳健性

PDF
TL;DR提出一种名为 M-TLAT 的新型数据增强策略，结合了 Mixup 增强和一种名为 Targeted Labeling Adversarial Training（TLAT）的新对抗训练算法，有效提高了图像分类器对于常见污染和对抗性攻击的鲁棒性，同时不会降低对于正常样本的准确率。
artificial neural networksdata augmentationadversarial trainingrobustnessimage classifiers
发现论文，激发创造
  • 掩模与混淆对抗训练

    本文提出一种名为 M2AT 的方法来提高卷积神经网络（CNN）对抗攻击的鲁棒性，该方法包括掩蔽和混合对抗训练（M2AT）两个过程，其通过制造多样的对抗样本来缓解模型准确性与鲁棒性的平衡问题，并在 CIFAR-10 数据集上得到了比之前方法更好的对抗攻击鲁棒性。

    Feb, 2023

  • 潜在对抗性训练在未知故障模式中的防御

    利用潜在对抗训练（LAT）来防御弱点，减少依赖生成激发输入的方法；通过对图像分类、文本分类和文本生成任务进行实验，LAT 通常在干净数据上提高了鲁棒性和性能，对于开发人员未明确识别的失效模式具备潜在应用前景。

    Mar, 2024

  • 更广覆盖以提高更好抗干扰性：用 Mixup 扩充进行对抗训练以达到更好的微调鲁棒性

    本文提出了对抗与混合数据增强方法（AMDA）以提高预训练语言模型在对抗攻击下的鲁棒性。在 BERT 和 RoBERTa 的文本分类实验中，AMDA 在两种强对抗攻击下均取得显著的鲁棒性增益，并缓解了 ADA 在干净数据上的性能下降。

    Dec, 2020

  • 利用对抗训练模型中的潜在层漏洞

    本研究通过对鲁棒性模型的分析，发现相对于输入层抗攻击性较强的特征层是高度容易受到小幅度形变攻击的。在此基础上，我们提出了一种名为 LAT 的新技术，通过对已经进行对抗性训练的模型进行微调，以保证其特征层的鲁棒性。研究表明此方法对 MNIST、CIFAR-10 和 CIFAR-100 数据集的前沿对抗准确度有轻微提升。

    May, 2019

  • 有效且稳健的对抗训练以应对数据和标签损坏

    我們提出了一種有效且強健的對抗訓練 (ERAT) 框架，能夠同時處理兩類污染 (即數據和標籤)，而不需要事先了解其具體信息。我們通過混合對抗訓練和基於類平衡樣本選擇的半監督學習提高了模型對雙重污染的韌性。大量實驗證明了我們提出的 ERAT 框架的優越性。

    May, 2024

  • 多标签对抗扰动

    研究多标签学习模型的脆弱性和准确性，提出通用的攻击框架来攻击深度神经网络，并设计两个特定方法来生成有针对性的多标签扰动来检测模型的脆弱性，并提出了一种潜在的防御策略来增强多标签深度学习模型的可解释性和鲁棒性。

    Jan, 2019

  • mixup：超越经验风险最小化

    这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

    Oct, 2017

  • 适配器与混合层融合增强预训练语言模型对文本分类的对抗性鲁棒性

    该研究通过优化 fine-tuned adapters 并使用混合数据训练神经网络，提出了一种在实践中更实用的对抗训练机制，从而在提高模型的泛化性和预测性能的同时避免了传统对抗训练方法中存在的性能下降和计算成本较高的问题。

    Jan, 2024

  • 重温长尾分布下的对抗训练

    深度神经网络在对抗攻击中易受攻击，现有的对抗训练方法在平衡数据集上表现良好，但实际情况中长尾分布的数据样本下该方法的有效性存疑。本文研究了长尾分布下的对抗训练，发现仅利用平衡 Softmax 损失函数可以在降低训练开销的同时达到与之前方法相当的性能；此外，通过数据增强技术，我们发现长尾分布下的对抗训练不仅可以减轻过拟合问题，而且可以显著提高鲁棒性；我们还发现增加训练样本的多样性是提高鲁棒性的原因。在 CIFAR-10-LT 上的 AutoAttack 中，与 RoBal 相比，平衡 Softmax 损失函数与数据增强的组合能够使模型的鲁棒性提高 6.66%。

    Mar, 2024

  • 缓和以防御：通过自引导标签完善实现对抗鲁棒性

    鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

    Mar, 2024