稀疏高斯过程回归和潜变量模型的分布式变分推断
本文提出了一种贝叶斯方法,通过非标准变分推理框架在GP-LVM中近似积分出潜在变量,从而通过最大化解析较低下界的确切边缘似然来训练GP-LVM,在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
本文提出了一种变分高斯过程(VGP)方法,该方法是一种贝叶斯非参数变分方法,利用随机非线性映射生成近似后验样本,适应于复杂的后验分布,且通过学习随机映射的分布来使之适应于不同的复杂度,该方法在无监督学习中实现了最新的最佳结果。
Nov, 2015
该研究介绍了一种新型模型,称为潜在变量多输出高斯过程 (LVMOGP),该模型可以捕捉多种条件的潜在信息,实现在测试时对新条件的有效推广,并提出了高效的变分推断方法,该方法的计算复杂度低于稀疏高斯过程。研究表明,在多个任务中,LVMOGP 在合成和真实数据上表现优异,并比相关的高斯过程方法优异。
May, 2017
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在CIFAR-10中报告了完全基于GP的模型的最新结果。
Oct, 2019
该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型,通过将核表示成一个随机变量,并利用其先验和后验信念来学习其不确定性,进而避免避免过度自信,通过随机梯度上升的方法来迭代地最大化变分下界以提高精度,该方法适用于大规模数据集。
Dec, 2019
提出一种新的方法,用于一般化贝叶斯非线性潜在变量建模,通过使用随机傅里叶特征来逼近高斯过程映射中的核函数,从而将 GPLVM 推广至泊松、负二项和多项分布等情况,并通过随机特征潜变量模型(RFLVM)对广泛的应用进行评估,结果表明该算法在复杂数据集的潜在结构和数据填充方面表现出着与现有先进算法相当的实用性。
Jun, 2023
利用稀疏表示和变分推断的学生-t进程来建模含有离群值或具有重尾行为的数据,提供了一种比高斯过程更灵活的选择,减少了计算复杂性,并在多个合成和真实数据集上展示了其有效性。
Dec, 2023
该研究针对高维空间或复杂数据集中生成有效提议分布的挑战,提出了一种退火重要性采样方法,以改进高斯过程潜变量模型的变分推断。通过将后验变换为一系列中间分布,该方法结合了序列蒙特卡洛采样器和变分推断的优势,从而提升了变分界限的紧致性和模型的收敛性。实验结果显示,所提方法在多个数据集上优于现有最先进技术。
Aug, 2024