变分自回归高斯过程用于不断学习
本篇论文研究了在多任务高斯过程模型中如何持续不断地学习处理顺序输入输出观测值的问题,提出了基于在线贝叶斯推断先验 —— 后验递归的方法,并结合诱导输入的稀疏近似引入了变分推断。通过该方法得到了可行的无限条件下界,并在自然情况下引入两个新的 KL 散度。本研究方法的关键技术是基于条件 GP 先验的递归重构,实现了对迄今为止学习到的变分参数的条件 GP 先验的递归重构。同时,该方法适用于许多类型的连续或离散的顺序观测,并且适用于可能出现潜在的多通道或异构观测值的场景。广泛的实验证明该方法具有可扩展性,表现可靠,并且对合成和真实世界的大量数据集的误差传播具有鲁棒性。
Oct, 2019
通过与一个识别模型相结合,我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下,我们重新参数化变分后验分布,并推导出一个可处理深度学习任务规模数据集的变分下界公式,证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。
Nov, 2015
本文提出了一种变分高斯过程 (VGP) 方法,该方法是一种贝叶斯非参数变分方法,利用随机非线性映射生成近似后验样本,适应于复杂的后验分布,且通过学习随机映射的分布来使之适应于不同的复杂度,该方法在无监督学习中实现了最新的最佳结果。
Nov, 2015
本研究提出了一种利用双重稀疏变分高斯过程方法,在连续和主动学习等数据有限的情况下,减少使用后续数据产生的误差,从而提高学习的准确性,并在涉及贝叶斯优化,主动学习和连续学习的几个应用程序中证明了其有效性。
Jun, 2023
本文介绍了一种基于回归高斯过程(RGP)模型的贝叶斯非参数模型,能够从序列数据中学习动态模式,并提出了一种低维度的 RNN-based 顺序识别模型,可用于非线性系统识别,以及具有广泛适用性的动态学习。
Nov, 2015
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
Dec, 2013
本文研究了一种新的模型 Gaussian Process Prior Variational Autoencoder (GPPVAE),结合了 VAEs 和具有 GP priors 关联特性的能力,解决了 VAEs 假设的潜在样本表示是独立并且同分布的假设不够强的问题,并利用协方差矩阵中的结构,介绍了一种新的随机反向传播策略,达到了分布式和低内存计算随机梯度的目的,实验证明该方法可以在两个图像数据应用程序中优于 conditional VAEs (CVAEs) 和标准 VAEs。
Oct, 2018
该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程,以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法(变分贝叶斯和顺序蒙特卡洛)进行主算法等。
Jun, 2014
研究了高斯过程深度生成模型中的氐变量的稀疏高斯过程近似的问题,并提出了一种基于部分推理网络的稀疏高斯过程变分自编码器,从而使得稀疏高斯过程能处理多维度的时空数据中缺失的数据,并提高模型的计算效率。
Oct, 2020