Oct, 2023

基于 PAC-Bayes 的谱归一化界限用于对抗鲁棒泛化

PDF
TL;DR深度神经网络容易受到对抗性攻击的影响，本研究聚焦于鏈基于 PAC-Bayes 方法的基于范数复杂性，并提供了一种光谱正则化的鲁棒泛化边界，相比现有边界，该边界不依赖于额外假设且更加紧致，进一步将结果拓展到抵抗一般非 l_p 攻击和其他神经网络架构。
deep neural networksadversarial attacksrobust generalizationnorm-based complexityspectrally-normalized robust generalization bound
发现论文，激发创造
  • 图神经网络的 PAC-Bayesian 对抗鲁棒泛化界限

    在这篇论文中，我们使用 PAC-Bayesian 框架为两种流行的图神经网络，图卷积网络（GCN）和消息传递图神经网络，提供了对抗鲁棒性泛化界限的结果。我们的结果揭示出图上扩散矩阵的谱范数、权重的谱范数以及扰动因子决定了这两个模型的鲁棒性泛化界限。同时，我们的界限避免了在标准设置中指数依赖于最大节点度的问题。作为推论，我们在标准设置中为 GCN 导出了更好的 PAC-Bayesian 鲁棒性泛化界限，避免了在（Liao 等人，2020）中对最大节点度的指数依赖。

    Feb, 2024

  • 通过谱归一化来实现可推广性对抗性训练

    本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。

    Nov, 2018

  • 神经网络谱范数归一化边缘界限的 PAC-Bayesian 方法

    利用 PAC-Bayes 分析，我们提出了一种将前馈神经网络的谱范数和权重的 Frobenius 范数乘积作为度量的泛化界限。

    Jul, 2017

  • 一种基于 PAC-Bayesian 方法的图神经网络泛化界的研究

    本文基于 PAC-Bayesian 方法推导出了两种主要的图神经网络（GCNs 和 MPGNNs）的泛化界，进一步显示节点最大度数和权重的谱范数支配了这两种模型的泛化界。

    Dec, 2020

  • 通过泛化噪音鲁棒性，确定性 PAC-Bayesian 深度网络泛化界

    本文研究了过参数化的深层网络使用随机梯度下降法（SGD）能够良好推广的能力，提出了一种 PAC-Bayesian 框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。

    May, 2019

  • 贝叶斯神经网络对抗攻击的鲁棒性研究

    本文旨在分析大数据下拟贝叶斯神经网络 (Bayesian Neural Networks) 对抗性攻击 (Adversarial Attack) 的几何特征，证明当数据分布存在退化时，对抗性攻击的易感性增加，并证明拟贝叶斯神经网络后验概率分布的期望梯度为零，因此在 MNIST、Fashion MNIST 和半月形数据集上，拟贝叶斯神经网络可展现出对于基于梯度和基于无梯度攻击的同时鲁棒性和高准确率。

    Jul, 2022

  • 光谱视角理解和提高对抗鲁棒性

    本研究从频谱的角度探讨对抗性训练机制（AT），展示在低频区保留偏向形状的表示能够提高深度神经网络（DNNs）的鲁棒性，并提出了一种名称为 “频谱对齐正则化”（SAR）的训练方法，在多个数据集和攻击下显著提高 DNNs 的鲁棒准确性。

    Jun, 2023

  • 卷积神经网络的 PAC-Bayesian 边界

    本文将 PAC-Bayesian 框架应用在卷积神经网络中，以分析深度神经网络的泛化误差问题，该方法之前已在全连接神经网络中进行验证。

    Dec, 2017

  • 神经网络的谱归一化边界

    本文提出了一种基于边界的多类神经网络概化界限，其与神经网络谱规范化的 “谱复杂度” 成比例，谱规范化的含义是权重矩阵谱范数的乘积与一定的校正因子。在 mnist 和 cifar10 数据集上，使用 SGD 训练标准的 AlexNet 网络进行了实验研究，同时使用原始标签和随机标签，结果显示：界限、Lipschitz 常数和超限风险都直接相关，这表明 SGD 选择的预测器的复杂度与学习任务的难度成比例。

    Jun, 2017

  • 计算具有非平凡泛化界的深度（随机）神经网络，其参数数量远多于训练数据

    通过优化 PAC-Bayes 边界，我们能够计算深度随机神经网络分类器的数量较小、训练示例数量唯有数万个的保真度上限，并将我们的发现与近期以及早期的扁平最小值和基于 MDL 的泛化解释联系起来。

    Mar, 2017