深高斯过程中的嵌套变分压缩
通过与一个识别模型相结合,我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下,我们重新参数化变分后验分布,并推导出一个可处理深度学习任务规模数据集的变分下界公式,证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。
Nov, 2015
本文提出了一种变分高斯过程 (VGP) 方法,该方法是一种贝叶斯非参数变分方法,利用随机非线性映射生成近似后验样本,适应于复杂的后验分布,且通过学习随机映射的分布来使之适应于不同的复杂度,该方法在无监督学习中实现了最新的最佳结果。
Nov, 2015
介绍了一种基于随机变分推断方法的高斯过程模型,该方法使高斯过程模型能够应用于包含数百万数据点的数据集,并在需要执行变分推断的情况下,演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法,并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。
Sep, 2013
本文介绍了一种基于双随机变分推断的方法,用于深度高斯过程模型(Deep Gaussian processes)的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务,验证了其推断模型的实用性。
May, 2017
本文提出了一种基于 Deep Gaussian processes(DGPs)的新型重要性加权目标函数,通过引入含噪变量作为潜在协变量,相比于经典的变分推断,可以在提高准确性的同时节省计算量,并且在更深层次的模型中表现良好。
May, 2019
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文提出了一种贝叶斯方法,通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量,从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM,在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型,并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差,实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011