Feb, 2023

对抗生成模型的 PAC-Bayesian 泛化界限

PDF
TL;DR本论文在 PAC-Bayesian 理论的基础上扩展了生成模型，并为基于 Wasserstein 距离和总变差距离的模型开发了广义的泛化界限，特别地，本论文提供了新的训练目标，以适用 Wasserstein GANs 和 Energy-Based GANs。
pac-bayesian theorygenerative modelswasserstein distancetotal variation distancewasserstein gans
发现论文，激发创造
  • 基于 Wasserstein 的高概率泛化界学习

    本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

    Jun, 2023

  • 通过插值获得更严格的泛化界限

    通过使用 (f,Γ) 差异得出新的 PAC-Bayes 广义边界，本文还提供了一系列概率差异 (包括但不限于 KL、Wasserstein 和总变差) 的 PAC-Bayes 广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。

    Feb, 2024

  • Wasserstein PAC-Bayes 学习：泛化和优化之间的桥梁

    在训练之前，利用 PAC-Bayes 和优化算法之间的联系，扩展 Wasserstein PAC-Bayes 框架，基于损失函数的几何假设提供新的泛化界，并证明了算法输出具有强大的渐近泛化能力。

    Apr, 2023

  • 通过 Wasserstein 距离实现更紧凑的预期泛化误差界限

    本文提出了基于 Wasserstein 距离的预期泛化误差界限，并分别介绍了全数据集、单字母和随机子集限制，以及从 Steinke 和 Zakynthinou [1] 的随机子抽样设置中的类似物。此外，当损失函数有界且选择 Wasserstein 距离中的度量时，这些界从相对熵的基础上得到了更好的下限 (因此是更紧的)。在特定情况下，这些结果可以被看作是考虑了假设空间几何和基于相关熵的界限之间的桥梁。另外，本文还介绍了如何基于这些界限产生各种新的界限，并使用类似的证明技术得出关于后向通道的类似界限。

    Jan, 2021

  • Banach Wasserstein GAN

    本研究探索了 Wasserstein 生成对抗网络在巴拿赫空间中引入梯度惩罚后的理论扩展和一些具体选择的基础点，重点关注 Sobolev 范数，并在 CIFAR-10 和 CelebA 中展示了性能提升。

    Jun, 2018

  • 基于 Wasserstein 的普通生成对抗网络

    生成对抗网络（GANs）和 Wasserstein GANs 之间的关系及其在概率分布估计中的应用进行研究，其中重点研究了维数降低特性、Oracle 不等式和 Lipschitz 函数的近似收敛性。

    Mar, 2024

  • 基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

    我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

    Apr, 2024

  • 图神经网络的 PAC-Bayesian 对抗鲁棒泛化界限

    在这篇论文中，我们使用 PAC-Bayesian 框架为两种流行的图神经网络，图卷积网络（GCN）和消息传递图神经网络，提供了对抗鲁棒性泛化界限的结果。我们的结果揭示出图上扩散矩阵的谱范数、权重的谱范数以及扰动因子决定了这两个模型的鲁棒性泛化界限。同时，我们的界限避免了在标准设置中指数依赖于最大节点度的问题。作为推论，我们在标准设置中为 GCN 导出了更好的 PAC-Bayesian 鲁棒性泛化界限，避免了在（Liao 等人，2020）中对最大节点度的指数依赖。

    Feb, 2024

  • 利用 PAC-Bayesian 理论对变分自动编码器提供统计保证

    使用 PAC-Bayesian 理论为变分自动编码器（VAEs）提供统计保证，推导了后验分布的 PAC-Bayesian 界限，以及 VAE 的重构损失的泛化保证、输入分布与 VAE 生成模型定义的分布之间的距离的上界和 Wasserstein 距离的上界。

    Oct, 2023

  • 基于 Wasserstein GAN 的人脸超分辨率

    本文比较了在单幅图像超分辨率上使用 Wasserstein 距离和其他训练目标时，各种 GAN 架构的表现，结果表明，带梯度惩罚的 Wasserstein GAN（WGAN-GP）提供了稳定且收敛的 GAN 训练，Wasserstein 距离是衡量训练进展的有效指标。

    May, 2017