Feb, 2024

重新思考对抗训练中的不变性正则化以改善鲁棒性与准确性权衡

PDF
TL;DR通过非对比自监督学习的启发，我们提出了一种称为 AR-AT 的不对称表示正则化对抗训练方法，结合了梯度冲突解决和解决混合分布问题的方法，显著改善了鲁棒性 - 准确性的平衡，并讨论了这些发现与基于知识蒸馏的防御方法之间的相关性。
adversarial traininginvariance regularizationtrade-offcollapsing solutionsknowledge distillation
发现论文，激发创造
  • 对抗鲁棒性的一种一致性正则化方法

    本文提出了一种通过优化辅助一致性规则损失来避免鲁棒过度拟合的有效正则化技术，在 Adversarial training 过程中使用数据扩增来强制攻击后的预测分布相似。实验结果表明，这种简单的方法可以显著提高各种 AT 方法的测试准确性，并对模型作出更具实际意义的泛化。

    Mar, 2021

  • 用隐式表示约束的对抗微调来缓解精确性 - 鲁棒性权衡

    通过引入 ARREST 方法，该论文提出了一种能够在深度神经网络中同时提高标准准确度和鲁棒性的对抗训练方法。

    Aug, 2023

  • 通过非对称负对比和反向注意力实现鲁棒表征学习

    深度神经网络容易受到对抗性噪声的攻击。为了解决这个问题，我们提出了一种通用的对抗训练框架来获得稳健的特征表达，通过非对称负对比度和反向注意力来推动不同类别的特征在特征空间中远离，并通过线性分类器参数对特征进行加权以获得类别感知的特征并将相同类别的特征相互靠近。经过在三个基准数据集上的实证评估，我们的方法大大提高了对抗训练的鲁棒性并实现了最先进的性能。

    Oct, 2023

  • 深度神经网络对抗鲁棒性正则化的研究

    本文研究了神经网络建模的正则化视角，通过将模型向分类决策边界的平滑变化进行防御，使其尽可能不改变预测结果，但会导致预测结果的置信度下降，这种正则化方法要避免性能下降。

    Nov, 2020

  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • 局部线性化对抗鲁棒性

    本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

    Jul, 2019

  • 通过对抗不变量正则化提升对抗对比学习

    本论文通过采用因果推理技术提出了一种对抗不变正则化（AIR）的方法，使 ACL 学习到的强鲁棒表示具有独立于样式的特性，并结合 SIR 形成一个加权和为 IR 的方法，理论上证明 AIR 可以鼓励对抗数据的预测和一致性与自然数据不受数据增强的影响而呈现独立性，并表明 ACL 学习到的鲁棒表示的 style-independence 属性在下游任务中仍然成立。

    Apr, 2023

  • 对抗训练对基于不变性的对抗样本的影响

    本研究探讨了针对卷积神经网络的不变性敌对样本进行对抗训练的影响，发现在敌对训练时同时使用基于扰动和基于不变性的敌对样本可以取得较高的鲁棒性。

    Feb, 2023

  • 缓和以防御：通过自引导标签完善实现对抗鲁棒性

    鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

    Mar, 2024

  • 神经排序模型的扰动不变对抗训练：改进有效性 - 鲁棒性权衡

    使用对抗性例子的神经排序模型（NRMs）在信息检索（IR）中取得了巨大的成功，但是可以通过添加不可察觉的扰动来操纵它们的预测结果。本研究通过将对抗性例子融入训练数据，建立了关于 NRMs 中效果和鲁棒性的权衡的理论保证，并设计了一种新的具有扰动不变性的对抗训练（PIAT）方法，以实现更好的效果和鲁棒性的权衡。实验结果表明，PITA 在多个排序模型上相对于现有的对抗防御方法具有优越性。

    Dec, 2023