基于 Wasserstein 的高概率泛化界学习

Jun, 2023

基于 Wasserstein 的高概率泛化界学习

Learning via Wasserstein-Based High Probability Generalisation Bounds

Paul Viallard, Maxime Haddouche, Umut Simsekli, Benjamin Guedj

TL;DR本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

Abstract

Minimising upper bounds on the population risk or the generalisation gap has been widely used in structural risk minimisation (SRM) - this is in particular at the core of pac-bayesian learning. Despite its successes and unfailing surge of interest in recent years, a limitation of the <

pac-bayesian wasserstein distance generalisation bounds batch learning online learning

发现论文，激发创造

Wasserstein PAC-Bayes 学习：泛化和优化之间的桥梁

在训练之前，利用 PAC-Bayes 和优化算法之间的联系，扩展 Wasserstein PAC-Bayes 框架，基于损失函数的几何假设提供新的泛化界，并证明了算法输出具有强大的渐近泛化能力。

Apr, 2023

对抗生成模型的 PAC-Bayesian 泛化界限

本论文在 PAC-Bayesian 理论的基础上扩展了生成模型，并为基于 Wasserstein 距离和总变差距离的模型开发了广义的泛化界限，特别地，本论文提供了新的训练目标，以适用 Wasserstein GANs 和 Energy-Based GANs。

Feb, 2023

通过插值获得更严格的泛化界限

通过使用 (f,Γ) 差异得出新的 PAC-Bayes 广义边界，本文还提供了一系列概率差异 (包括但不限于 KL、Wasserstein 和总变差) 的 PAC-Bayes 广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。

Feb, 2024

通过 Wasserstein 距离实现更紧凑的预期泛化误差界限

本文提出了基于 Wasserstein 距离的预期泛化误差界限，并分别介绍了全数据集、单字母和随机子集限制，以及从 Steinke 和 Zakynthinou [1] 的随机子抽样设置中的类似物。此外，当损失函数有界且选择 Wasserstein 距离中的度量时，这些界从相对熵的基础上得到了更好的下限 (因此是更紧的)。在特定情况下，这些结果可以被看作是考虑了假设空间几何和基于相关熵的界限之间的桥梁。另外，本文还介绍了如何基于这些界限产生各种新的界限，并使用类似的证明技术得出关于后向通道的类似界限。

Jan, 2021

PAC-Bayes 分析超越平常的边界

该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

Jun, 2020

敌对数据的简化 PAC-Bayesian 界限

本文研究了具有依赖性和重尾观察值的 PAC-Bayesian 学习界限。在这些界限中，Kullack-Leibler 差异被取代了，并使用了 Csiszár 的 f - 差异的一般版本。我们证明了一个通用的 PAC-Bayesian 界限，并展示了如何在各种恶劣的环境中使用它。

Oct, 2016

基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

Apr, 2024

使用 Wasserstein 距离进行极小极大统计学习

本论文基于 Wasserstein 空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。

May, 2017

利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Feb, 2024

关于结构化预测中的认证泛化

在结构化预测中，我们提出了一种新的 PAC-Bayesian 风险界来处理非分离因素和违反 i.i.d. 假设的情况，并按照生成模型的研究，将数据生成为基于 Knothe-Rosenblatt 排序的因子参考测量，以显式提取随机输出变量之间的结构，从而为有挑战性的结构化预测下游任务建立归纳界限提供了初步步骤。

Jun, 2023