通过最小化 PAC-Bayesian 广义化界限来学习高斯过程

Oct, 2018

通过最小化 PAC-Bayesian 广义化界限来学习高斯过程

Learning Gaussian Processes by Minimizing PAC-Bayesian Generalization Bounds

David Reeb, Andreas Doerr, Sebastian Gerwinn, Barbara Rakitsch

TL;DR该研究提出了一种使用 PAC-Bayesian 边界来直接优化 GPs 及其稀疏逼近的方法，相比于最大化边缘似然的常规方法，该方法具有更好的稳健性和泛化性能，并在多个回归基准数据集上获得了显着的泛化保证。

Abstract

gaussian processes (GPs) are a generic modelling tool for supervised learning. While they have been successfully applied on large datasets, their use in safety-critical applications is hindered by the lack of good performance guarantees. To this end, we propose a method to learn GPs an

gaussian processes supervised learning sparse approximations pac-bayesian bound generalization performance

发现论文，激发创造

具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

Apr, 2024

流式 PAC-Bayes 高斯过程回归与性能保证，用于在线决策

本文提供了一个新的在线高斯过程（GP）算法的理论框架，它基于在线 PAC 贝叶斯理论，并且通过优化经验风险函数和先验分布与后验分布之间的差异来保证其泛化性能和准确性。

Oct, 2022

高效计算的高斯过程在主动学习中的安全界限

基于自适应采样的高斯过程后验中极值中位数的可证明安全边界为活动学习提供了有效的安全约束，以便在物理系统中进行设计空间的探索。

Feb, 2024

利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Feb, 2024

PAC-Bayesian 学习初探

本文对 PAC-Bayes 框架及其主要理论和算法发展进行了自包含的调查研究。

Jan, 2019

基于 Wasserstein 的高概率泛化界学习

本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

Jun, 2023

基于数据驱动的经典优化器和学习优化器的性能保证

介绍了一种数据驱动的方法，利用统计学习理论的泛化保证来分析连续优化算法的性能。研究经典优化器和学习优化器来解决参数优化问题的族群。建立了经典优化器的泛化保证，利用样本收敛界限，以及学习优化器的泛化保证，利用 Probably Approximately Correct (PAC)-Bayes 框架。通过使用基于梯度的算法直接最小化 PAC-Bayes 上界来训练学习优化器。在信号处理、控制和元学习的数值实验中展示了我们的框架能够在固定迭代预算的情况下为经典和学习优化器提供强大的泛化保证。对于经典优化器而言，我们的界限比最坏情况保证的界限要严格得多。对于学习优化器而言，我们的上界优于观察到的非学习对应的实际结果。

Apr, 2024

随机学习的 PAC-Bayesian 分析及其在随机梯度下降中的应用

通过 PAC-Bayes 和算法稳定性的结合研究了随机梯度下降算法的泛化误差，提出了一种基于后验优化的自适应采样算法，并在基准数据集上进行评估。结果表明，相较于均匀采样，自适应采样既可以更快地降低经验风险，也可以提高样本外准确性。

Sep, 2017

高斯过程回归的学习曲线：近似和界限

该论文考虑了使用高斯过程进行回归时，计算学习曲线（即平均泛化性能）的问题，并提出了一种基于协方差函数的特征值分解的一些近似方案，这些新的近似方案通常更接近真实值。

May, 2001

PAC-Bayesian 理论应用于贝叶斯推理

展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

May, 2016