AAAIMar, 2021

对抗鲁棒性的一种一致性正则化方法

PDF
TL;DR本文提出了一种通过优化辅助一致性规则损失来避免鲁棒过度拟合的有效正则化技术，在 Adversarial training 过程中使用数据扩增来强制攻击后的预测分布相似。实验结果表明，这种简单的方法可以显著提高各种 AT 方法的测试准确性，并对模型作出更具实际意义的泛化。
adversarial trainingrobust overfittingdata augmentationregularization techniquetest robust accuracy
发现论文，激发创造
  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • 重新思考对抗训练中的不变性正则化以改善鲁棒性与准确性权衡

    通过非对比自监督学习的启发，我们提出了一种称为 AR-AT 的不对称表示正则化对抗训练方法，结合了梯度冲突解决和解决混合分布问题的方法，显著改善了鲁棒性 - 准确性的平衡，并讨论了这些发现与基于知识蒸馏的防御方法之间的相关性。

    Feb, 2024

  • 对抗训练的技巧

    本文研究了对抗训练中常常忽视的训练技巧和超参数的影响，发现对于鲁棒性的影响比以往认为的更加敏感，如微调权重衰减值可能会使模型鲁棒性下降超过 7%，而与此同时，我们基于这些发现重新设计了一个基线模型并获得了目前最优的结果。

    Oct, 2020

  • AROID：通过在线逐实例数据增强提高对抗鲁棒性

    该论文提出了一种新的方法，通过在线实例化学习数据增强策略来提高 Deep neural networks 的 Adversarial training 的鲁棒性，在多个模型结构和数据集上成功地超越了现有的竞争性数据增强方法。

    Jun, 2023

  • 对抗分布式训练用于强健深度学习

    本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

    Feb, 2020

  • 缓和以防御：通过自引导标签完善实现对抗鲁棒性

    鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

    Mar, 2024

  • 基于图结构的动态正则化的图对抗训练

    研究表明神经网络的视觉分类任务受到小幅但有意的输入特征扰动的影响。基于连接的示例引起了对目标示例影响的干扰，图对神经网络的影响更大。针对此问题，本文提出了一种动态正则化技术 —— 图形对抗训练（Graph Adversarial Training，GraphAT），该技术结合了输入特征中的干扰和连接示例的影响，并将其应用于图卷积网络（Graph Convolutional Network，GCN）的目标节点分类任务中，实验结果表明，GraphAT 可以提高模型的鲁棒性。

    Feb, 2019

  • 认证鲁棒神经网络：泛化和抗污染性

    通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

    Mar, 2023

  • 基于增强的一致性正则化分类

    本文提出了一种基于数据增强的一致性正则化框架 CR-Aug，利用停止梯度操作来提高支持向量器的泛化能力，并表明 CR-Aug 的效果显著优于基线方法。

    May, 2022

  • 深度神经网络对抗鲁棒性正则化的研究

    本文研究了神经网络建模的正则化视角，通过将模型向分类决策边界的平滑变化进行防御，使其尽可能不改变预测结果，但会导致预测结果的置信度下降，这种正则化方法要避免性能下降。

    Nov, 2020