在分类增量连续学习中通过对抗训练提高准确率和鲁棒性
本文提出了一种对抗背景攻击的新型防御性框架,该框架利用了攻击者隐藏后门模式的能力,提出了学习一个更加可感知(更强大)的模式以抵抗攻击的思想,同时通过使用多种连续学习基准数据集来证明其有效性。
Apr, 2023
本文介绍了一种新的神经网络训练框架,通过将对比学习与对抗训练相结合,增强了模型对对抗攻击的鲁棒性,同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性,并使用 CIFAR-10 数据集验证了他们的方法,发现其优于其他监督和自监督方法。
Mar, 2022
提出了一种将增量学习与敌对训练相结合的方法,通过引入 FPD 损失函数和 LAD 损失函数解决了增量学习中的鲁棒性问题,并在实验中证明了其比现有方法更为优越。
Dec, 2023
该研究针对深度学习在不断学习模型中容易受到对抗攻击的问题提出了 Task-Aware Boundary Augmentation (TABA) 的防御方法,并在 CIFAR-10 和 CIFAR-100 上进行了广泛的实验,证明了对抗训练和 TABA 在抵御对抗攻击方面的有效性。
Mar, 2023
通过对回放类增量学习中发现的精度不平衡现象进行研究,我们提出了一个能够预测遗忘率较高的旧类别并提高其精度的方法,该方法可以无缝地集成到现有的回放类增量学习方法中,并通过广泛的实验证明了其有效性。
Mar, 2024
连续自适应对抗训练(ACAT)不断地将对抗训练样本整合到模型中,使用实际检测到的对抗数据,增强模型对不断演变的对抗威胁的抵抗能力,同时减轻灾难性遗忘,并降低了对抗样本检测所需的总时间。
Mar, 2024
本文提出一种新的局部对抗性攻击方法用来生成对抗性样本,进而通过在训练集中包含局部对抗性图像来提高分类器鲁棒性和对抗样本的识别率。在 MNIST 和 CIFAR-10 数据集上的评估结果表明,该训练算法可以降低自然图像的准确度损失,并提高抵抗对抗性输入的容忍度。
Sep, 2019
本文提出了一种新颖的类别增量学习方法,通过引入基于对抗攻击的特征增强技术。通过使用先前学习的分类器来补充训练样本,而不仅仅在后续模型中起到知识蒸馏的教师作用。该方法在类别增量学习中利用以前的知识有独特视角,因为它使用其他类别的示例通过先前学习的分类器上的对抗攻击来增强任意目标类别的特征。该方法可以方便地融入现有的类别增量学习算法,无需进行任何架构修改。在标准基准测试中的广泛实验表明,我们的方法在各种情况下都显著优于现有的类别增量学习方法,特别是在存储示例数量很少的情况下具有极小的存储空间。
Apr, 2023
通过在 LLM 的连续嵌入空间中计算对抗攻击来提高对离散攻击的鲁棒性,我们提出了一种快速的对抗训练算法 (C-AdvUL),通过对对抗行为数据集上计算的连续嵌入攻击使模型变得鲁棒;我们还引入了 C-AdvIPO,这是一种对抗的 IPO 变体,不需要效用数据进行对抗性鲁棒对齐。我们的实证评估表明,这两个算法显著提高了 LLM 对离散攻击的鲁棒性,并保持了效用。这些结果表明,对连续扰动的鲁棒性可以外推到离散的威胁模型,为大规模对抗训练算法的鲁棒对齐 LLM 提供了一条路径。
May, 2024
研究了机器学习的鲁棒性,使用集中式和分散式环境进行对抗训练,结果显示比现有研究提高了 18.41% 和 47% 的准确性,并提出了独立同分布和非独立同分布数据的 IID 数据共享方法,可提高自然准确性和鲁棒准确性。
Sep, 2023