高斯过程潜变量模型的连续采样
我们发现一种新的马尔可夫链蒙特卡罗算法,用于在具有多元高斯先验的模型中进行推断。它具有简单,通用的代码可应用于许多模型,没有自由参数且适用于各种基于高斯过程的模型,因此它是构建模型时理想的方法。
Dec, 2009
介绍了一种基于随机变分推断方法的高斯过程模型,该方法使高斯过程模型能够应用于包含数百万数据点的数据集,并在需要执行变分推断的情况下,演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法,并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。
Sep, 2013
提出一种新的方法,用于一般化贝叶斯非线性潜在变量建模,通过使用随机傅里叶特征来逼近高斯过程映射中的核函数,从而将 GPLVM 推广至泊松、负二项和多项分布等情况,并通过随机特征潜变量模型(RFLVM)对广泛的应用进行评估,结果表明该算法在复杂数据集的潜在结构和数据填充方面表现出着与现有先进算法相当的实用性。
Jun, 2023
本篇论文研究了在多任务高斯过程模型中如何持续不断地学习处理顺序输入输出观测值的问题,提出了基于在线贝叶斯推断先验 —— 后验递归的方法,并结合诱导输入的稀疏近似引入了变分推断。通过该方法得到了可行的无限条件下界,并在自然情况下引入两个新的 KL 散度。本研究方法的关键技术是基于条件 GP 先验的递归重构,实现了对迄今为止学习到的变分参数的条件 GP 先验的递归重构。同时,该方法适用于许多类型的连续或离散的顺序观测,并且适用于可能出现潜在的多通道或异构观测值的场景。广泛的实验证明该方法具有可扩展性,表现可靠,并且对合成和真实世界的大量数据集的误差传播具有鲁棒性。
Oct, 2019
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和 MNIST 数据集上证明了其优越性。
Feb, 2014
本文提出了一种将高斯过程进行分解,以便通过将先验与数据分离来进行可扩展抽样的方法,同时结合稀疏逼近在训练和测试时间都能够达到可扩展性的一般性方法。实验证明分解后的样本轨迹可以以较低的代价准确地表示高斯过程后验分布。
Feb, 2020
本文提出了一种贝叶斯方法,通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量,从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM,在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
本文提出了一种基于伪边缘法的马尔可夫链蒙特卡罗通用策略,有效地解决了使用高斯过程先验的精确贝叶斯推理和模型参数不确定性导致的数据预测问题。此外,Monte Carlo 积分可用于预测中的所有模型参数,这在高斯过程的层次统计模型中具有重要意义,并与最先进的概率分类器进行了广泛的比较。
Oct, 2013