ASPIRE:基于迭代的摊销后验推理方法用于贝叶斯反问题
通过交替生成和训练条件生成模型,本研究设计出一种迭代框架来提高基于贝叶斯逆问题的后验分布的分析逼近,从而实现迭代改善逼近效果的自动化过程,并检验了在人脑超声成像中的应用情况。
May, 2023
本文提出了一种基于深度神经网络参数化的先验分布方法,通过学习贝叶斯逆映射实现了实时推理。经过基准问题的验证,该方法的后验估计与马尔可夫链蒙特卡罗方法的对应结果一致,并在前向传递神经网络的代价下提供了观测的后验参数。
May, 2023
Amortized variational inference (A-VI) is a general alternative to factorized (or mean-field) variational inference (F-VI) for approximating intractable posterior distributions, with conditions derived for achieving F-VI's optimal solution and strategies for expanding the domain of the inference function, while certain models like hidden Markov models and Gaussian processes cannot be matched by A-VI.
Jul, 2023
在本文中,我们提出了一种更数据高效的概率元学习方法,通过对贝叶斯神经网络的推理进行逐数据点摊销,引入了摊销伪观测变分推理贝叶斯神经网络(APOVI-BNN)。我们展示了在我们的摊销方案下获得的近似后验与传统变分推理获得的近似后验在质量上是相似或更好的,尽管摊销推理是在单个前向传递中执行的。然后,我们讨论了如何将 APOVI-BNN 看作神经过程家族的新成员,以此作为激励使用神经过程训练目标,以实现在复杂问题上更好的预测性能。最后,我们评估了 APOVI-BNN 在一维回归问题和更复杂的图像完成设置中与其他概率元模型的预测性能,在训练数据有限的情况下,我们的模型在同类模型中表现最好。
Sep, 2023
本文提出使用结构化 VI 族来有效处理大量人口研究数据中的潜变量参数空间,并阐述 Plate Amortization 的思想可以加快训练,提高表达力,精简参数,在神经影像学实例中进行了应用,取得了可扩展性和可表达性 VI 的重要进展。
Jun, 2022
研究了 Bayesian 推断中一种新的方法 —— 摊销贝叶斯推断的鲁棒性,提出了一种基于 Fisher 信息的正则化方案,实验结果表明该方案可以提高模型对干扰攻击的抵抗力。
May, 2023
在大规模人口研究中,通过设计结构化的变分推断方法,使用概率生成模型和参数分布,实现贝叶斯推断,加快了训练速度和收敛速度,为可扩展性和表达性变分推断迈出了重要一步。
Aug, 2023
基于模拟的方法对于统计推断发展迅速,过去 50 年随着技术进步,如今它又迎来一次革命,利用神经网络、优化库和图形处理器进行学习数据和推断目标之间复杂映射,从而快速实现推断。本文回顾了最近在点估计、近似贝叶斯推断、自动构建摘要统计以及似然函数近似等方面取得的进展。综述还包括可用的软件,并通过一个简单实例展示了可用于快速推断的工具及其比起最先进的马尔可夫链蒙特卡洛方法所带来的好处。文章最后总结了相关主题,展望了未来的研究方向。
Apr, 2024
我们提出了一种半摊分解方法,使用摊分变分推断 (Amortized Variational Inference,AVI) 来初始化变分参数并运行随机变分推断 (Stochastic Variational Inference,SVI) 来细化它们,从而使推理网络和生成模型能够进行端到端的梯度优化训练,这种方法有助于在像文本生成这样的问题上使用丰富的生成模型并避免训练 VAE 时产生的后验崩溃现象,实验证明这种方法在标准的文本和图像数据集上胜过强有力的自回归和变分基线。
Feb, 2018