深度变分隐式进程
本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样,提供了一种新的推断方法,成为 Deep Gaussian Processes 领域新的最优模型。
Jun, 2018
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在CIFAR-10中报告了完全基于GP的模型的最新结果。
Oct, 2019
本文提出了一种基于隐式后验变分推断 (IPVI) 框架的多层深高斯过程模型,能够理想地恢复无偏后验信念,并仍保持时间效率高,该框架通过将 DGP 推断问题建模为一个两个玩家博弈,在该博弈平衡点处获得无偏后验信念,并设计最佳响应动态算法来寻找博弈均衡点,得到的实证表明 IPVI 在 DGPs 的近似方法中优于现有技术水平。
Oct, 2019
研究了高斯过程深度生成模型中的氐变量的稀疏高斯过程近似的问题,并提出了一种基于部分推理网络的稀疏高斯过程变分自编码器,从而使得稀疏高斯过程能处理多维度的时空数据中缺失的数据,并提高模型的计算效率。
Oct, 2020
我们引入神经操作变分推断(NOVI)用于深度高斯过程,使用神经生成器获得采样器,并通过最小化L2空间中生成分布和真实后验之间的正则化Stein差异解决挑战。我们使用Monte Carlo估计和子抽样随机优化技术求解极小极大问题。我们的实验证明,通过将Fisher差分乘以常数可以控制我们方法引入的偏差,从而实现鲁棒的误差控制,确保算法的稳定性和精确性。我们在从几百到数万的数据集上的实验表明了所提方法的有效性和更快的收敛速度。我们在CIFAR10数据集上实现了93.56%的分类准确性,超过了SOTA高斯过程方法。此外,我们的方法在DGP模型上理论上保证预测误差可控,并在各种数据集上展现出卓越性能。我们对NOVI能够提升深度贝叶斯非参数模型的性能并对各种实际应用产生重大影响持乐观态度。
Sep, 2023