AAAIDec, 2022

对抗性权重扰动提高图神经网络的泛化性能

PDF
TL;DR该论文研究了 Adversarial Weight Perturbation 在图形数据上的应用及其与局部最小值和泛化之间的联系。结果表明，通过该方法正则化图神经网络能够提高自然和鲁棒泛化能力。
adversarial weight perturbationlocal minimageneralizationgraph datagraph neural networks
发现论文，激发创造
  • 重新审视随机参数扰动以有效地提升泛化能力

    通过对随机权重扰动的目标进行最小化以提高泛化能力的研究表明，改进深度神经网络（DNNs）的泛化能力是机器学习中的一个基本挑战。通过两个分支方法提出了分别由锋利度感知最小化（SAM）和随机权重扰动（RWP）引导的方法，通过对最差情况邻域损失进行最小化来改进泛化能力。然而，RWP 在计算上具有优势，并在数学基础上与 AWP 密切相关，但其实证效果始终落后于 AWP。本文重访 RWP 的使用方式，并从两个角度提出改进策略：i）泛化和收敛性之间的权衡，ii）随机扰动生成。通过大量实验评估，我们证明了我们增强的 RWP 方法在提升泛化能力方面具有更高的效率，特别是在大规模问题上，并且在性能方面与 SAM 相当，甚至更优越。

    Mar, 2024

  • 对抗性权重扰动有助于稳健泛化

    本文研究了通过对抗性样本训练神经网络的鲁棒性问题，提出了通过实现加权损失对抗扰动机制进行对抗性训练的方案，从而解决了加权损失在以往对抗性训练中的不足。

    Apr, 2020

  • 动态调整权重的锐度感知最小化

    本研究提出了 delta-SAM 算法来提高深度神经网络的泛化性能，通过动态重新赋权在每个 batch 中实现更强的对抗权重扰动以逼近更强的单实例扰动。

    Dec, 2021

  • 通过敌对模型扰动对神经网络进行规则化

    提出了一种基于对经验风险中扁平局部最小值理解的正则化方法 —— 对抗模型扰动 (AMP)，该方法通过最小化 AMP 损失而非直接最小化经验风险，可帮助减轻过度拟合和改善泛化，并已在各种现代深层架构上得到广泛验证。

    Oct, 2020

  • 通过对抗性权重掩码进行单次神经后门消除

    本研究提出 Adversarial Weight Masking（AWM）方法解决神经后门威胁，通过对训练数据注入触发数据样本，对敏感权重做 (软) 屏蔽，实验结果表明该方法优于现有技术提升了神经后门清除效果。

    Jul, 2022

  • 将对抗鲁棒性普适性与平坦极小值联系起来

    本文研究了 Robust Generalization 与 Robust Loss Landscape 的关系，设计了衡量该 Landscape 平坦性的度量，并验证了平坦的 Landscape 有助于提高 Adversarial Training 的鲁棒性与泛化性能。

    Apr, 2021

  • 利用弱点感知扰动预算改进对抗训练

    透过对自然样本的脆弱性进行考量，提出了两种简单、计算成本低的方法 (Margin-Weighted Perturbation Budget 与 Standard-Deviation-Weighted Perturbation Budget)，用于为 Adversarial Training 算法中的对抗样本分配扰动范围，实验证明这些方法有效地提升了算法的鲁棒性。

    Mar, 2024

  • 通过梯度聚合提升通用对抗干扰的泛化性能

    本文研究了深度神经网络对通用对抗扰动（UAP）的脆弱性，提出了一种名为随机梯度聚合（SGA）的简单有效方法，用于缓解梯度消失和逃离贫弱局部最优问题，并证实在标准 ImageNet 数据集上表现优于其他最先进方法。

    Aug, 2023

  • 通过 Taylor 展开的随机对抗训练

    在此研究中，通过将随机噪声添加到确定性权重中，基于 Taylor 展开设计了一种新的对抗训练方法，可以调和抗干扰性和准确性之间的权衡，同时提高两者的表现。

    Mar, 2023

  • 通过重新加权优化轨迹增强对抗训练

    本文提出了一种名为 WOT 的新方法，该方法利用对抗训练的历史优化轨迹，以改善在对抗攻击下的鲁棒性，并在多种最先进的对抗攻击中表现出高效性。

    Jun, 2023