Feb, 2024

通过插值获得更严格的泛化界限

HTML
PDF
TL;DR通过使用(f,Γ)差异得出新的PAC-Bayes广义边界，本文还提供了一系列概率差异(包括但不限于KL、Wasserstein和总变差)的PAC-Bayes广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。
发现论文，激发创造
  • 非独立同分布数据的色彩 PAC-Bayes 界限：在排名和稳定 β-混合过程中的应用

    提出了第一篇关于在具有内在依赖性的数据上训练分类器的Pac-Bayes泛化界的研究，该方法基于依赖图的分解，通过图分数覆盖将依赖关系编码在数据的独立数据集中。

    Sep, 2009

  • PAC-Bayesian理论应用于贝叶斯推理

    展示了贝叶斯边际似然和频率PAC-Bayesian风险边界之间的联系；在最小化PAC-Bayesian广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的PAC-Bayesian定理，并在贝叶斯线性回归任务中表明其方法的有效性。

    May, 2016

  • PAC-Bayes分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020

  • Wasserstein PAC-Bayes学习:泛化和优化之间的桥梁

    在训练之前，利用PAC-Bayes和优化算法之间的联系，扩展Wasserstein PAC-Bayes框架，基于损失函数的几何假设提供新的泛化界，并证明了算法输出具有强大的渐近泛化能力。

    Apr, 2023

  • 基于Wasserstein的高概率泛化界学习

    本文介绍了基于Wasserstein距离的PAC-Bayesian泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于SRM的可优化培训目标。

    Jun, 2023

  • 广义界限：信息论和PAC-Bayes的视角

    该研究旨在提供信息论概括界限及其与PAC-Bayes的关联的全面介绍，为最近的发展提供基础，广泛面向对概括和理论机器学习感兴趣的研究人员。

    Sep, 2023

  • 用哈密尔顿蒙特卡洛估计最优的PAC-Bayes界限

    该论文通过对MNIST数据集进行实验，研究了PAC-Bayes参数约束为分解高斯分布时在优化PAC-Bayes界限时可能损失的紧密度，结果表明在某些情况下存在5-6%的显著紧密度差距。

    Oct, 2023

  • 泛化与平坦极小之间的PAC-Bayesian联系

    现代机器学习通常涉及超参数设置（训练参数数量大于数据集大小），它们的训练结果不仅在训练数据上表现良好，而且具有良好的泛化能力。本文通过与PAC-Bayes工具箱相结合的Poincaré和Log-Sobolev不等式提供了新的包含梯度项的泛化界限，避免了对预测空间维度的明确依赖。我们的结果突出了“平坦极小值”对泛化性能的积极影响，直接涉及了优化阶段的益处。

    Feb, 2024

  • 利用PAC-Bayes理论和Gibbs分布进行具有复杂度度量的泛化界限

    该研究利用分解的PAC-Bayes边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

    Feb, 2024

  • 基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

    我们从PAC-Bayesian的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续Langevin动力学以及随机梯度Langevin动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

    Apr, 2024