提出了 Deep Variational Implicit process (DVIP) 作为 Implicit processes (IPs) 的一种多层泛化方法,并通过大规模数据集上的回归和分类实验展示其可扩展性及性能优越于之前的 IP-based 方法和深层高斯过程。
Jun, 2022
提出了基于隐含过程的变分推断方法并在贝叶斯神经网络、高斯过程等复杂模型的不确定性估计和误差下降方面,相比现有的推断方法获得更好的结果。
Jun, 2018
本文研究参数选择对贝叶斯学习程序的影响,介绍了一种名为 Sparse Implicit Processes 的模型,该模型是可训练的,具有灵活的预测能力,并且成功实现了对数据集的预测分布的修正,从而提高了方法的鲁棒性。
Jul, 2022
这篇研究论文介绍了一种在线学习高斯过程(Gaussian Processes)的方法,其中采用了有效的变分方法并使用了稀疏技术来降低观测数据的数量,并对 inducing points 进行自适应添加,从而提高算法的性能。
Jul, 2021
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。
Oct, 2019
使用神经网络进行影子点位置计算和变分后验分布参数估计可提高 Gaussian Processes 的可扩展性。
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
本文提出了结合 inducing points 和 state-space formulation 的方法,并给出了相应的 varitational parameterisation 公式,该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020
通过引入一种新的层级先验,实现了对诱导变量集合的稀疏约束,使得高斯过程法在通过基于小批量学习实现超大规模推断时具备更好的效率。
Nov, 2020
本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理,该算法针对大规模数据的情况具有可扩展性和易实现性,并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。
May, 2019