ICCVAug, 2023

通过鲁棒临界微调改善对抗训练的泛化性能

PDF
TL;DR本研究提出了一种名为 Robustness Critical Fine-Tuning (RiFT) 的新方法，其核心思想是通过在非鲁棒性关键模块上进行微调，利用冗余容量来提高泛化能力而不损害对抗性鲁棒性。实验证明，该方法可以在不损害对抗鲁棒性的同时，显著改善泛化能力和超出分布鲁棒性约 1.5%。
adversarial examplesadversarial trainingrobustness critical fine-tuninggeneralization abilitymodule robust criticality
发现论文，激发创造
  • 预训练语言模型应如何微调以提高对抗攻击鲁棒性？

    针对预训练语言模型的敌对性攻击，提出了一种基于信息理论的对抗性微调方法（Robust Informative Fine-Tuning），强制模型在整个微调过程中保留预训练模型所学习的特征，并在情感分析和自然语言推理等多种 NLP 任务中的各种攻击中显著优于现有技术。

    Dec, 2021

  • 用隐式表示约束的对抗微调来缓解精确性 - 鲁棒性权衡

    通过引入 ARREST 方法，该论文提出了一种能够在深度神经网络中同时提高标准准确度和鲁棒性的对抗训练方法。

    Aug, 2023

  • 仅需简单微调：通过对抗微调实现鲁棒深度学习

    本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法，该方法通过有效的学习率调度策略显著降低了计算成本，同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明，该方法在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法，同时将计算成本降低了 8-10 倍，并能够改善任何经过预训练的深度神经网络的鲁棒性，而无需从头开始训练模型。

    Dec, 2020

  • 净化上的对抗性训练（AToP）：增强鲁棒性和泛化能力

    在这篇论文中，研究人员提出了一种称为对抗训练纯化（AToP）的新框架，通过随机转换（RT）的扰动破坏和对抗损失下的纯化模型优化（FT）来加强深度神经网络对抗攻击的鲁棒性和泛化能力，并通过对 CIFAR-10、CIFAR-100 和 ImageNette 的广泛实验表明其在对抗攻击防御方面达到了最先进的结果和泛化能力。

    Jan, 2024

  • FullLoRA-AT: 高效提升预训练视觉变换器的鲁棒性

    通过使用学习性的 LNLoRA 模块和 FullLoRA-AT 框架，本文提出了一种参数高效的对 Vision Transformer 模型进行对抗微调，以有效提高模型的鲁棒性。在 CIFAR-10，CIFAR-100 和 Imagenette 数据集上进行的广泛实验证明了本文方法的优越性。

    Jan, 2024

  • 面向数据中心强健学习的抵抗基于迁移的对抗性攻击的深度学习模型

    该研究提出了一种名为数据中心稳健学习（DRL）的新的防御范例，通过在训练之前进行一次性的对抗性增强来提高对迁移攻击的稳健性，并且在黑盒稳健性上超过了多种常用的对抗训练技术。此外，DRL 还具有模型的泛化能力和稳健公平性。

    Oct, 2023

  • 动态调节对抗性对手的对抗微调

    本文提出了一种简单而有效的基于迁移学习的对抗性训练策略，该策略将对抗样本的负面影响与模型的标准性能分离开来，引入了一种训练友好的对抗攻击算法，同时保持了模型对干净数据的标准性能，从而提高了模型的鲁棒性。

    Apr, 2022

  • 实证鲁棒性与认证鲁棒性对抗对策间的缩小

    本文介绍了一种新方法，即通过自适应实现认证，将经过对抗训练的模型转化为随机平滑分类器，在推理过程中提供 l2 范数的认证鲁棒性，同时不影响它们对抗攻击的经验鲁棒性。

    Feb, 2021

  • RoAST：通过选择性训练对语言模型进行对抗性扰动的鲁棒性增强

    RoAST 是一种简单而有效的微调技术，通过在微调期间引入对抗性扰动，并且在相对重要性上选择性地更新模型参数，以提升语言模型的多角度鲁棒性。通过统一评估微调的语言模型在四个代表性的鲁棒性角度下，我们证明了 RoAST 相对于最先进的微调方法在六种不同类型的语言模型上的有效性，表明其在实践中的有用性。

    Dec, 2023

  • ∞范数的健壮性与更多因素：高效对抗训练技术的实现

    本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

    Dec, 2021