ICLRMay, 2019

通过泛化噪音鲁棒性，确定性 PAC-Bayesian 深度网络泛化界

PDF
TL;DR本文研究了过参数化的深层网络使用随机梯度下降法（SGD）能够良好推广的能力，提出了一种 PAC-Bayesian 框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。
overparameterized deep networksstochastic gradient descentpac-bayesian frameworkgeneralizationspectral norms
发现论文，激发创造
  • 计算具有非平凡泛化界的深度（随机）神经网络，其参数数量远多于训练数据

    通过优化 PAC-Bayes 边界，我们能够计算深度随机神经网络分类器的数量较小、训练示例数量唯有数万个的保真度上限，并将我们的发现与近期以及早期的扁平最小值和基于 MDL 的泛化解释联系起来。

    Mar, 2017

  • 通过压缩方法增强深度网络的泛化界限

    本论文通过新的简洁再参数化方法的引入和新的 “噪声稳定性” 属性的发现，提供了一种基于压缩的框架来估计神经网络的泛化性能边界，并将此方法拓展到卷积神经网络中。

    Feb, 2018

  • ImageNet 尺度下的非空泛化界：一种 PAC-Bayesian 压缩方法

    本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度，提高模型泛化性能，同时基于对模型压缩技术的分析，提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。

    Apr, 2018

  • 基于 PAC-Bayes 的谱归一化界限用于对抗鲁棒泛化

    深度神经网络容易受到对抗性攻击的影响，本研究聚焦于鏈基于 PAC-Bayes 方法的基于范数复杂性，并提供了一种光谱正则化的鲁棒泛化边界，相比现有边界，该边界不依赖于额外假设且更加紧致，进一步将结果拓展到抵抗一般非 l_p 攻击和其他神经网络架构。

    Oct, 2023

  • 随机学习的 PAC-Bayesian 分析及其在随机梯度下降中的应用

    通过 PAC-Bayes 和算法稳定性的结合研究了随机梯度下降算法的泛化误差，提出了一种基于后验优化的自适应采样算法，并在基准数据集上进行评估。结果表明，相较于均匀采样，自适应采样既可以更快地降低经验风险，也可以提高样本外准确性。

    Sep, 2017

  • Auto-tune: 基于先验和后验的 PAC-Bayes 优化神经网络

    提出一种实用的 PAC-Bayes 训练框架，通过使用无需多重超参数调整的算法，结合 Stochastic Gradient Descent（SGD）或 Adam 优化算法和正则化技术等方法，实现了与常规方法相当的测试性能，同时实现了深度神经网络的鲁棒性和可解释性。

    May, 2023

  • 图神经网络的 PAC-Bayesian 对抗鲁棒泛化界限

    在这篇论文中，我们使用 PAC-Bayesian 框架为两种流行的图神经网络，图卷积网络（GCN）和消息传递图神经网络，提供了对抗鲁棒性泛化界限的结果。我们的结果揭示出图上扩散矩阵的谱范数、权重的谱范数以及扰动因子决定了这两个模型的鲁棒性泛化界限。同时，我们的界限避免了在标准设置中指数依赖于最大节点度的问题。作为推论，我们在标准设置中为 GCN 导出了更好的 PAC-Bayesian 鲁棒性泛化界限，避免了在（Liao 等人，2020）中对最大节点度的指数依赖。

    Feb, 2024

  • 广泛和深度神经网络的随机梯度下降的泛化界限

    研究深度神经网络的训练和泛化，在过度参数化的条件下，通过神经切向随机特征模型 (NTRF) 来限制泛化误差，并建立了神经切向内核 (NTK) 的联系。

    May, 2019

  • 通过张量方法理解深度学习中的泛化

    在这项研究中，我们从压缩的角度提出了一系列直观，数据相关且易于测量的属性，紧密地刻画了神经网络的可压缩性和通用性，进而提供了进一步设计具有更好 / 保证通用性属性的神经网络架构的见解。

    Jan, 2020

  • 一种基于 PAC-Bayesian 方法的图神经网络泛化界的研究

    本文基于 PAC-Bayesian 方法推导出了两种主要的图神经网络（GCNs 和 MPGNNs）的泛化界，进一步显示节点最大度数和权重的谱范数支配了这两种模型的泛化界。

    Dec, 2020