Aug, 2019

估计超参数的高斯过程回归的收敛性及在贝叶斯逆问题中的应用

PDF
TL;DR研究高斯过程回归中的收敛性，着重于层次高斯过程回归，在其中先验未知的高斯过程仿真器的均值和协方差结构中出现的超参数会从数据中学习，并与后验均值和协方差一起计算。提供收敛性分析，并通过连续函数的任何情况下的收敛性说明从数据中学习超参数不会影响高斯过程回归的收敛性，并且在广泛的场景中都得到保证。主要目标是利用高斯过程回归近似贝叶斯反问题的数据似然性，提供了在此背景下引入的误差界限。
发现论文，激发创造
  • 高斯过程全贝叶斯回归的近似推理

    本文介绍了高斯过程模型中两种推断超参数后验分布的方法，一种是哈密顿蒙特卡罗（HMC）求解采样近似，另一种是变分推断（VI），其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布，该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。

    Dec, 2019

  • 贝叶斯回归和分类高斯过程模型的蒙特卡罗实现

    本文提出了使用高斯过程模型来进行非参数回归，分类等任务，通过使用马尔科夫链方法对高斯过程的协方差函数的超参数进行采样，可以发现数据的高级特性并实现预测响应所需输入的相关性。

    Jan, 1997

  • 未知高斯过程超参数的贝叶斯优化理论分析

    在随机环境下，通过使用高斯过程和未知核超参数的贝叶斯优化方法，我们得出了一个对于预期改善收集函数和亚高斯观察噪声的累积遗憾界限，为我们提供了关于如何设计超参数估计方法的指导，并通过简单模拟说明了遵循这些准则的重要性。

    Jun, 2014

  • 高斯过程的伪边缘贝叶斯推断

    本文提出了一种基于伪边缘法的马尔可夫链蒙特卡罗通用策略，有效地解决了使用高斯过程先验的精确贝叶斯推理和模型参数不确定性导致的数据预测问题。此外，Monte Carlo 积分可用于预测中的所有模型参数，这在高斯过程的层次统计模型中具有重要意义，并与最先进的概率分类器进行了广泛的比较。

    Oct, 2013

  • 高斯过程回归中的 Frequentist 覆盖率和 sup-norm 收敛速率

    本文提出了一种通用框架来理解高斯过程回归中点估计和同时贝叶斯可信区间的频率覆盖率，并通过最优化的变量证明了高斯过程回归具有最小化相对于最高模数的后收缩率。

    Aug, 2017

  • 在高斯过程模型中改善近似推断下的超参数学习

    通过将变分推断用于推理，将边缘似然的直接逼近解决与非共轭似然的高斯过程模型的近似推断的问题

    Jun, 2023

  • 参数高斯过程回归器

    提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

    Oct, 2019

  • 多应答异方差高斯过程模型及其推断

    通过引入异方差高斯过程（Heteroscedastic Gaussian process regression），并结合协变量引导的精度矩阵过程的混合公式，我们提出了一个新的框架，扩展了异方差高斯过程（HeGP）的概念，从回归任务扩展到分类和状态空间模型。通过仿真和气候学的实际应用，我们展示了该模型的优越性和优势。

    Aug, 2023

  • 高斯过程和贝叶斯优化在金融应用中的作用

    本文探讨了高斯过程和贝叶斯优化这两种方法在金融建模中的应用，特别是在利率期限结构建模和趋势跟踪策略中的运用。

    Mar, 2019

  • 贝叶斯优化的量子高斯过程回归

    本文提出了一种基于量子核的高斯过程回归方法，并利用硬件高效特征映射和 Gram 矩阵的精细正则化，展示了量子高斯过程的方差信息可以被保留，以及它可以作为贝叶斯优化的代理模型，最后将该模型应用于机器学习模型的超参数优化，并以实际数据集为例，与经典的贝叶斯优化进行比较，展示了量子版本的性能可以匹配。

    Apr, 2023