在高斯过程模型中改善近似推断下的超参数学习
本文介绍了高斯过程模型中两种推断超参数后验分布的方法,一种是哈密顿蒙特卡罗(HMC)求解采样近似,另一种是变分推断(VI),其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布,该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。
Dec, 2019
本文提出了一种变分高斯过程 (VGP) 方法,该方法是一种贝叶斯非参数变分方法,利用随机非线性映射生成近似后验样本,适应于复杂的后验分布,且通过学习随机映射的分布来使之适应于不同的复杂度,该方法在无监督学习中实现了最新的最佳结果。
Nov, 2015
本文研究了期望传播方法在广义线性模型下的渐近特性,并通过自由概率理论提出了一种计算复杂度更低的方法,对于具有渐近自由特性的数据矩阵可以有效应用于微阵列数据的基因选择问题。
Jan, 2018
本文提出了一种贝叶斯方法,通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量,从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM,在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
本文提出了一种用于高斯过程回归中噪声和信号方差的不精确积分的新方法,并使用期望传播进行推理,在两个模拟数据集和三个实证示例中与马尔可夫链蒙特卡罗方法进行比较。结果表明,期望传播能够产生可比较的结果,而计算量较小。
Apr, 2014
通过优化固定协方差和常值权重的高斯混合模型,将变分推断(Variational Inference)视为最小化平滑相对熵,研究其在非高斯情况下的理论性质,包括梯度下降和粒子系统优化。
Jun, 2024
该论文提出了一种使用 Kalman 递归实现线性时间推断的方法,避免了数值不稳定和收敛问题,通过实现该方法,解决了在处理非高斯似然时所遇到的麻烦,同时达到了快速稳定的变分推断效果,可处理包含百万数据点的时间序列的状态空间高斯过程模型。
Jul, 2020
研究高斯过程回归中的收敛性,着重于层次高斯过程回归,在其中先验未知的高斯过程仿真器的均值和协方差结构中出现的超参数会从数据中学习,并与后验均值和协方差一起计算。提供收敛性分析,并通过连续函数的任何情况下的收敛性说明从数据中学习超参数不会影响高斯过程回归的收敛性,并且在广泛的场景中都得到保证。主要目标是利用高斯过程回归近似贝叶斯反问题的数据似然性,提供了在此背景下引入的误差界限。
Aug, 2019
本文提出了 cvHM,一种基于 Hida-Mat 和共轭计算变分推断的潜在高斯过程模型的推理框架,使用 Whittle 近似似然实现高效的超参数学习。
Jun, 2023
本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样,提供了一种新的推断方法,成为 Deep Gaussian Processes 领域新的最优模型。
Jun, 2018