利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

Feb, 2024

利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization Bounds with Complexity Measures

Paul Viallard, Rémi Emonet, Amaury Habrard, Emilie Morvant, Valentina Zantedeschi

TL;DR该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Abstract

In statistical learning theory, a generalization bound usually involves a complexity measure imposed by the considered theoretical framework. This limits the scope of such bounds, as other forms of capacity measu

statistical learning theory generalization bound complexity measures disintegrated pac-bayes bounds gibbs distributions

发现论文，激发创造

广义界限：信息论和 PAC-Bayes 的视角

该研究旨在提供信息论概括界限及其与 PAC-Bayes 的关联的全面介绍，为最近的发展提供基础，广泛面向对概括和理论机器学习感兴趣的研究人员。

Sep, 2023

基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

Apr, 2024

PAC-Bayes 分析超越平常的边界

该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

Jun, 2020

PAC-Bayesian 学习初探

本文对 PAC-Bayes 框架及其主要理论和算法发展进行了自包含的调查研究。

Jan, 2019

通过插值获得更严格的泛化界限

通过使用 (f,Γ) 差异得出新的 PAC-Bayes 广义边界，本文还提供了一系列概率差异 (包括但不限于 KL、Wasserstein 和总变差) 的 PAC-Bayes 广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。

Feb, 2024

Wasserstein PAC-Bayes 学习：泛化和优化之间的桥梁

在训练之前，利用 PAC-Bayes 和优化算法之间的联系，扩展 Wasserstein PAC-Bayes 框架，基于损失函数的几何假设提供新的泛化界，并证明了算法输出具有强大的渐近泛化能力。

Apr, 2023

包括稳定 RNN 的动态系统 PAC-Bayes 泛化界限

在这篇论文中，我们推导了一个 PAC-Bayes 界限，用于一类特殊的离散时间非线性动力系统的监督时间序列设置。这个类别包括稳定的递归神经网络（RNN），而这项工作的动机就是应用于 RNN。我们在允许的模型上施加一些稳定性约束，这里的稳定性是以动力系统的概念来理解的。对于 RNN，这些稳定性条件可以表示为关于权重的条件。我们假设所涉及的过程在本质上是有界的，并且损失函数是利普希茨的。所提出的对于泛化差距的界限依赖于数据分布的混合系数和数据的本质上最大值。此外，随着数据集大小的增加，这个界限收敛于零。在这篇论文中，我们 1）正式化了学习问题，2）为这类系统推导了一个 PAC-Bayesian 误差界限，3）讨论了这个误差界限的各种结果，以及 4）展示了一个说明性例子，并讨论了计算所提出的界限的方法。与其他可用的界限不同，这个推导的界限适用于非独立同分布的数据（时序数据），并且它不随 RNN 的步骤数增长。

Dec, 2023

信息论泛化界的统一框架

文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

May, 2023

深度学习的泛化界限

本研究提出了关于深度学习的泛化误差的准则，介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差，并进行了广泛实证分析以评估该方法的效果和特性。

Dec, 2020

PAC-Bayes 界的用户友好型介绍

本文介绍了聚合和随机投票学习模型的 PAC-Bayes 泛化理论及其优化技术，并对这些技术在人工神经网络上的应用进行了探讨。

Oct, 2021