通过直接 PAC-Bayes 界最小化来改善鲁棒泛化

Nov, 2022

通过直接 PAC-Bayes 界最小化来改善鲁棒泛化

Improving Robust Generalization by Direct PAC-Bayesian Bound Minimization

Zifan Wang, Nan Ding, Tomer Levinboim, Xi Chen, Radu Soricut

TL;DR本文研究了鲁棒优化中的过拟合现象，提出了一种不同形式的鲁棒 PAC-Bayesian 边界并通过迹（TrH）正则化器将 PAC-Bayesian 学习与鲁棒损失面的几何形状连接，实验结果证明了该方法能够提高视觉变换器的鲁棒性且计算成本低。

Abstract

Recent research in robust optimization has shown an overfitting-like phenomenon in which models trained against adversarial attacks exhibit higher robustness on the training set compared to the test set. Although

robust optimization adversarial attacks robust pac-bayesian bound trace of hessian vision transformers

发现论文，激发创造

基于 PAC-Bayes 的谱归一化界限用于对抗鲁棒泛化

深度神经网络容易受到对抗性攻击的影响，本研究聚焦于鏈基于 PAC-Bayes 方法的基于范数复杂性，并提供了一种光谱正则化的鲁棒泛化边界，相比现有边界，该边界不依赖于额外假设且更加紧致，进一步将结果拓展到抵抗一般非 l_p 攻击和其他神经网络架构。

Oct, 2023

具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

Apr, 2024

对抗生成模型的 PAC-Bayesian 泛化界限

本论文在 PAC-Bayesian 理论的基础上扩展了生成模型，并为基于 Wasserstein 距离和总变差距离的模型开发了广义的泛化界限，特别地，本论文提供了新的训练目标，以适用 Wasserstein GANs 和 Energy-Based GANs。

Feb, 2023

通过泛化噪音鲁棒性，确定性 PAC-Bayesian 深度网络泛化界

本文研究了过参数化的深层网络使用随机梯度下降法（SGD）能够良好推广的能力，提出了一种 PAC-Bayesian 框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。

May, 2019

图神经网络的 PAC-Bayesian 对抗鲁棒泛化界限

在这篇论文中，我们使用 PAC-Bayesian 框架为两种流行的图神经网络，图卷积网络（GCN）和消息传递图神经网络，提供了对抗鲁棒性泛化界限的结果。我们的结果揭示出图上扩散矩阵的谱范数、权重的谱范数以及扰动因子决定了这两个模型的鲁棒性泛化界限。同时，我们的界限避免了在标准设置中指数依赖于最大节点度的问题。作为推论，我们在标准设置中为 GCN 导出了更好的 PAC-Bayesian 鲁棒性泛化界限，避免了在（Liao 等人，2020）中对最大节点度的指数依赖。

Feb, 2024

基于 Wasserstein 的高概率泛化界学习

本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

Jun, 2023

一种强凸 PAC-Bayesian 界限

提出了一种新的 PAC-Bayesian 界并构建了假设空间，使界在后验分布上是凸的，在经验性能与复杂性之间的折衷参数上也是凸的。通过 KL 散度来测量复杂性。提出了一种交替过程来最小化这个界，并给出了一个足够的条件，使得函数具有单一的全局最小值。提供实验结果表明，严格最小化该界在调整复杂性和经验性能之间的权衡方面与交叉验证相媲美。在所有实验中，即使违反了足够的条件，折衷结果仍然是凸的。

Aug, 2016

Auto-tune: 基于先验和后验的 PAC-Bayes 优化神经网络

提出一种实用的 PAC-Bayes 训练框架，通过使用无需多重超参数调整的算法，结合 Stochastic Gradient Descent（SGD）或 Adam 优化算法和正则化技术等方法，实现了与常规方法相当的测试性能，同时实现了深度神经网络的鲁棒性和可解释性。

May, 2023

PAC-Bayesian 理论应用于贝叶斯推理

展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

May, 2016

使用带有铰链正则化的最优输运实现分类鲁棒性

利用最优传输的 Kantorovich- Rubinstein 对偶公式的铰链正则化版本，提出了一个新的框架来学习 1-Lipschitz 神经网络，并在此基础上进行分类。该方法能够提高网络的鲁棒性、具有可验证的鲁棒性边界，并在不降低准确度的前提下解决了这一问题。

Jun, 2020