Feb, 2024

通过插值获得更严格的泛化界限

PDF
TL;DR通过使用 (f,Γ) 差异得出新的 PAC-Bayes 广义边界，本文还提供了一系列概率差异 (包括但不限于 KL、Wasserstein 和总变差) 的 PAC-Bayes 广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。
pac-bayes generalisation boundsprobabilistic divergencesposterior distributions propertiesstatistical learningtraining objectives
发现论文，激发创造
  • 基于 Wasserstein 的高概率泛化界学习

    本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

    Jun, 2023

  • 优于 KL 的 PAC-Bayes 界

    本文研究了使用新颖且优于 KL 散度的 PAC-Bayes 边界，以及这种边界在估计均值时的集中不等式问题，对比了以往 KL 散度为基础的边界，并探讨了最佳 PAC-Bayes 边界速率的可能性。

    Feb, 2024

  • 对抗生成模型的 PAC-Bayesian 泛化界限

    本论文在 PAC-Bayesian 理论的基础上扩展了生成模型，并为基于 Wasserstein 距离和总变差距离的模型开发了广义的泛化界限，特别地，本论文提供了新的训练目标，以适用 Wasserstein GANs 和 Energy-Based GANs。

    Feb, 2023

  • 利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

    该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

    Feb, 2024

  • Wasserstein PAC-Bayes 学习：泛化和优化之间的桥梁

    在训练之前，利用 PAC-Bayes 和优化算法之间的联系，扩展 Wasserstein PAC-Bayes 框架，基于损失函数的几何假设提供新的泛化界，并证明了算法输出具有强大的渐近泛化能力。

    Apr, 2023

  • 信息论泛化界的统一框架

    文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

    May, 2023

  • 基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

    我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

    Apr, 2024

  • 信息密度和条件信息密度的泛化界

    通过指数不等式的方法，我们研究了随机学习算法的泛化误差的界限和概率分布，针对亚高斯损失函数提供了以训练数据和输出假设之间信息密度为依据的新的界限，并将该方法扩展到了基于随机选择训练数据子集的情况。

    May, 2020

  • 敌对数据的简化 PAC-Bayesian 界限

    本文研究了具有依赖性和重尾观察值的 PAC-Bayesian 学习界限。在这些界限中，Kullack-Leibler 差异被取代了，并使用了 Csiszár 的 f - 差异的一般版本。我们证明了一个通用的 PAC-Bayesian 界限，并展示了如何在各种恶劣的环境中使用它。

    Oct, 2016

  • 更多 PAC-Bayes 界：从有界损失到具有一般剪尾行为的损失，到任何时候都有效

    该论文提出了一种新的高概率 PAC-Bayes 界限，其中涉及到了带界范围和更一般尾部行为的损失，并提出了一些新的基于参数和基于事件的界限技术，可以得到更紧密和可解释的结果，并将结果扩展到任何现有范围上

    Jun, 2023