ICCVAug, 2023

用隐式表示约束的对抗微调来缓解精确性 - 鲁棒性权衡

PDF
TL;DR通过引入 ARREST 方法，该论文提出了一种能够在深度神经网络中同时提高标准准确度和鲁棒性的对抗训练方法。
adversarial trainingtradeoffarrest methodstandard accuracyrobustness
发现论文，激发创造
  • 重新思考对抗训练中的不变性正则化以改善鲁棒性与准确性权衡

    通过非对比自监督学习的启发，我们提出了一种称为 AR-AT 的不对称表示正则化对抗训练方法，结合了梯度冲突解决和解决混合分布问题的方法，显著改善了鲁棒性 - 准确性的平衡，并讨论了这些发现与基于知识蒸馏的防御方法之间的相关性。

    Feb, 2024

  • 通过非对称负对比和反向注意力实现鲁棒表征学习

    深度神经网络容易受到对抗性噪声的攻击。为了解决这个问题，我们提出了一种通用的对抗训练框架来获得稳健的特征表达，通过非对称负对比度和反向注意力来推动不同类别的特征在特征空间中远离，并通过线性分类器参数对特征进行加权以获得类别感知的特征并将相同类别的特征相互靠近。经过在三个基准数据集上的实证评估，我们的方法大大提高了对抗训练的鲁棒性并实现了最先进的性能。

    Oct, 2023

  • 通过鲁棒临界微调改善对抗训练的泛化性能

    本研究提出了一种名为 Robustness Critical Fine-Tuning (RiFT) 的新方法，其核心思想是通过在非鲁棒性关键模块上进行微调，利用冗余容量来提高泛化能力而不损害对抗性鲁棒性。实验证明，该方法可以在不损害对抗鲁棒性的同时，显著改善泛化能力和超出分布鲁棒性约 1.5%。

    Aug, 2023

  • 缓和以防御：通过自引导标签完善实现对抗鲁棒性

    鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

    Mar, 2024

  • 对抗分布式训练用于强健深度学习

    本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

    Feb, 2020

  • 光谱视角理解和提高对抗鲁棒性

    本研究从频谱的角度探讨对抗性训练机制（AT），展示在低频区保留偏向形状的表示能够提高深度神经网络（DNNs）的鲁棒性，并提出了一种名称为 “频谱对齐正则化”（SAR）的训练方法，在多个数据集和攻击下显著提高 DNNs 的鲁棒准确性。

    Jun, 2023

  • 通过反偏见软标签蒸馏来改善对抗鲁棒公平性

    通过对软标签的平滑程度进行深入分析和理论分析，我们提出了一种反偏差软标签蒸馏（ABSLD）方法，以在知识蒸馏（KD）框架中减轻对手性鲁棒性公平问题，通过调整训练过程中样本的软标签的类别平滑程度来减少学生模型在不同类别之间的错误风险差距，软标签的平滑程度由在 KD 中为不同类别分配不同的温度来控制。大量实验表明，ABSLD 在鲁棒性和公平性的整体性能方面优于最先进的对手训练、对手鲁棒性蒸馏和公平性方法。

    Dec, 2023

  • 面向数据中心强健学习的抵抗基于迁移的对抗性攻击的深度学习模型

    该研究提出了一种名为数据中心稳健学习（DRL）的新的防御范例，通过在训练之前进行一次性的对抗性增强来提高对迁移攻击的稳健性，并且在黑盒稳健性上超过了多种常用的对抗训练技术。此外，DRL 还具有模型的泛化能力和稳健公平性。

    Oct, 2023

  • F$^2$AT：通过自然和扰动模式解缠以进行特征聚焦对抗训练

    通过位平面切片将对抗性样本分解为自然和扰动模式，提出了一个特征关注的对抗性训练 (F^2AT)，使模型专注于来自自然模式的核心特征，减少扰动模式的虚假特征。实验结果表明 F^2AT 在准确性和对抗性鲁棒性方面优于现有的方法。

    Oct, 2023

  • 仅需简单微调：通过对抗微调实现鲁棒深度学习

    本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法，该方法通过有效的学习率调度策略显著降低了计算成本，同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明，该方法在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法，同时将计算成本降低了 8-10 倍，并能够改善任何经过预训练的深度神经网络的鲁棒性，而无需从头开始训练模型。

    Dec, 2020