具有随机变分推断的可扩展多输出高斯过程
介绍了一种基于随机变分推断方法的高斯过程模型,该方法使高斯过程模型能够应用于包含数百万数据点的数据集,并在需要执行变分推断的情况下,演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法,并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。
Sep, 2013
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和MNIST数据集上证明了其优越性。
Feb, 2014
本文提出了一种贝叶斯方法,通过非标准变分推理框架在GP-LVM中近似积分出潜在变量,从而通过最大化解析较低下界的确切边缘似然来训练GP-LVM,在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
该研究介绍了一种新型模型,称为潜在变量多输出高斯过程 (LVMOGP),该模型可以捕捉多种条件的潜在信息,实现在测试时对新条件的有效推广,并提出了高效的变分推断方法,该方法的计算复杂度低于稀疏高斯过程。研究表明,在多个任务中,LVMOGP 在合成和真实数据上表现优异,并比相关的高斯过程方法优异。
May, 2017
提出了基于复值交叉频谱密度的参数化多元协方差函数,实现对通道之间时间延迟和相位差异的建模,进而提高了模型的表达能力。该方法在合成数据和真实数据集上进行了验证和比较。
Sep, 2017
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文提出了一种新的多输出高斯过程扩展方法,用于处理异构输出,此方法使用向量值高斯过程先验来联合建模所有似然函数中的参数作为潜在函数,并以线性模型为核心的协同关系形式使用协方差函数;在假设潜在函数之间存在条件独立性并利用引导变量框架的前提下,我们能够获得易于处理的变分下界,适用于随机变分推理。最后我们在合成数据以及两个真实数据集上:人类行为研究数据集以及人口统计高维数据集中展示了该模型的性能。
May, 2018
研究了一种加速多输出高斯过程推理和学习的方法,利用数据的充分统计量实现在正交基中的线性缩放,从而实现在实践中线性缩放,同时不会牺牲重要的表现力或需要近似。
Nov, 2019
该研究论文提出了一个扩展多输出高斯过程(MOGPs)用于分层数据集的方法,通过定义适合层次结构的核函数来捕捉不同层次的相关性,并通过引入潜在变量表达输出之间的潜在依赖关系,以提高可扩展性。通过合成数据和基因组学以及动作捕捉的真实世界数据进行了广泛的实验研究,以支持该方法。
Aug, 2023
基于核心集的变分温和高斯过程的随机推理方法,在核心集的后验概率基础上,降低参数规模、提高数值稳定性和节省时间和空间复杂度的情况下,验证了其在模拟和实际回归问题中表现出更好的证据低限估计和预测均方根误差。
Nov, 2023