具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

Apr, 2024

具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation

Michael Sucker, Jalal Fadili, Peter Ochs

TL;DR用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

Abstract

We use the pac-bayesian theory for the setting of learning-to-optimize. To the best of our knowledge, we present the first framework to learn optimization algorithms with provable generalization guarantees (PAC-B

pac-bayesian theory learning-to-optimize convergence guarantees optimization algorithms worst-case analysis

发现论文，激发创造

基于数据驱动的经典优化器和学习优化器的性能保证

介绍了一种数据驱动的方法，利用统计学习理论的泛化保证来分析连续优化算法的性能。研究经典优化器和学习优化器来解决参数优化问题的族群。建立了经典优化器的泛化保证，利用样本收敛界限，以及学习优化器的泛化保证，利用 Probably Approximately Correct (PAC)-Bayes 框架。通过使用基于梯度的算法直接最小化 PAC-Bayes 上界来训练学习优化器。在信号处理、控制和元学习的数值实验中展示了我们的框架能够在固定迭代预算的情况下为经典和学习优化器提供强大的泛化保证。对于经典优化器而言，我们的界限比最坏情况保证的界限要严格得多。对于学习优化器而言，我们的上界优于观察到的非学习对应的实际结果。

Apr, 2024

通过学习学习算法实现更灵活的 PAC-Bayesian 元学习

我们介绍了一个新的框架，使用 PAC-Bayesian 理论来研究元学习方法。该框架相比以往的工作的主要优势在于它允许在任务之间的知识转移方面更加灵活。我们的框架的灵活性使其适用于分析广泛范围的元学习机制，甚至设计新的机制。除了理论贡献外，我们还通过经验证明我们的框架提高了实际元学习机制的预测质量。

Feb, 2024

通过最小化 PAC-Bayesian 广义化界限来学习高斯过程

该研究提出了一种使用 PAC-Bayesian 边界来直接优化 GPs 及其稀疏逼近的方法，相比于最大化边缘似然的常规方法，该方法具有更好的稳健性和泛化性能，并在多个回归基准数据集上获得了显着的泛化保证。

Oct, 2018

PAC-Bayesian 学习初探

本文对 PAC-Bayes 框架及其主要理论和算法发展进行了自包含的调查研究。

Jan, 2019

PAC-Bayesian 理论应用于贝叶斯推理

展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

May, 2016

在线到 PAC 转换：通过遗憾分析获得泛化界

本文提出了从在线学习的角度推导统计学习算法的泛化界限的新框架，建立在线学习算法与统计学习算法之间的联系，通过构造一种在线学习游戏来实现该框架并得到多种泛化保证。

May, 2023

Wasserstein PAC-Bayes 学习：泛化和优化之间的桥梁

在训练之前，利用 PAC-Bayes 和优化算法之间的联系，扩展 Wasserstein PAC-Bayes 框架，基于损失函数的几何假设提供新的泛化界，并证明了算法输出具有强大的渐近泛化能力。

Apr, 2023

PACOH: PAC-Guarantees 贝叶斯优化元学习

本文在 PAC-Bayesian 框架下进行理论分析，推导出元学习的新型广义界限，发展了一种 PAC-optimal 的元学习算法并在基学习器中应用高斯过程和贝叶斯神经网络，结果预测准确性和不确定性估计质量均达到了最佳性能。

Feb, 2020

一种用于终身学习的 PAC-Bayesian 边界

本文从理论角度研究终身学习，提出了 PAC-Bayesian 泛化界限，得出了两种原则性的算法并取得了可与现有方法相媲美的结果。

Nov, 2013

利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Feb, 2024