基于正则化斯坦距离的神经算子变分推断用于深高斯过程

Sep, 2023

基于正则化斯坦距离的神经算子变分推断用于深高斯过程

Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes

Jian Xu, Shian Du, Junmei Yang, Qianli Ma, Delu Zeng

TL;DR我们引入神经操作变分推断（NOVI）用于深度高斯过程，使用神经生成器获得采样器，并通过最小化 L2 空间中生成分布和真实后验之间的正则化 Stein 差异解决挑战。我们使用 Monte Carlo 估计和子抽样随机优化技术求解极小极大问题。我们的实验证明，通过将 Fisher 差分乘以常数可以控制我们方法引入的偏差，从而实现鲁棒的误差控制，确保算法的稳定性和精确性。我们在从几百到数万的数据集上的实验表明了所提方法的有效性和更快的收敛速度。我们在 CIFAR10 数据集上实现了 93.56％的分类准确性，超过了 SOTA 高斯过程方法。此外，我们的方法在 DGP 模型上理论上保证预测误差可控，并在各种数据集上展现出卓越性能。我们对 NOVI 能够提升深度贝叶斯非参数模型的性能并对各种实际应用产生重大影响持乐观态度。

Abstract

deep gaussian process (DGP) models offer a powerful nonparametric approach for bayesian inference, but exact inference is typically intractable, motivating the use of various approximations. However, existing app

deep gaussian process neural operator variational inference bayesian inference stochastic approximation classification accuracy

发现论文，激发创造

深高斯过程的隐式后验变分推断

本文提出了一种基于隐式后验变分推断 (IPVI) 框架的多层深高斯过程模型，能够理想地恢复无偏后验信念，并仍保持时间效率高，该框架通过将 DGP 推断问题建模为一个两个玩家博弈，在该博弈平衡点处获得无偏后验信念，并设计最佳响应动态算法来寻找博弈均衡点，得到的实证表明 IPVI 在 DGPs 的近似方法中优于现有技术水平。

Oct, 2019

深高斯过程的双随机变分推断

本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

May, 2017

神经变分梯度下降

本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

Jul, 2021

鲁棒性深高斯过程

本报告深入概述了 GVI 在 DGPs 中带来的影响和创新，特别是信息几何视角下的模型错误规范性的稳健性和不确定性量化的合理替代方案等修正措施对 DGPs 的改进潜力，并通过相应的实证结果予以证明。

Apr, 2019

使用随机梯度哈密顿蒙特卡罗推断深高斯过程

本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。

Jun, 2018

变分高斯过程

本文提出了一种变分高斯过程 (VGP) 方法，该方法是一种贝叶斯非参数变分方法，利用随机非线性映射生成近似后验样本，适应于复杂的后验分布，且通过学习随机映射的分布来使之适应于不同的复杂度，该方法在无监督学习中实现了最新的最佳结果。

Nov, 2015

使用重要性加权变分推断的深高斯过程

本文提出了一种基于 Deep Gaussian processes（DGPs）的新型重要性加权目标函数，通过引入含噪变量作为潜在协变量，相比于经典的变分推断，可以在提高准确性的同时节省计算量，并且在更深层次的模型中表现良好。

May, 2019

参数高斯过程回归器

提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

Oct, 2019

神经算子引导高斯过程框架用于参数化偏微分方程的概率解

神经算符、高斯过程、偏微分方程、不确定性度量和算符学习是该研究论文的关键词，提出了一个新的神经算符引导的高斯过程框架，通过实验验证了其在各种 PDE 示例中的优越准确性和预期不确定性特性。

Apr, 2024

学习邻近算子：使用降噪网络来规则化逆成像问题

本文研究探讨通过使用去噪神经网络替代凸优化算法中的正则化程式近算，使得数据项和正则化项可以独立选择并结合。在图像去模糊和去马赛克问题中，通过使用固定的去噪神经网络，本文取得了最先进的重建效果，并且该方法具有很高的通用性和较少的问题特定训练需求。

Apr, 2017