贝叶斯神经网络中的摊还推断

Sep, 2023

Amortised Inference in Bayesian Neural Networks

Tommy Rochussen

TL;DR在本文中，我们提出了一种更数据高效的概率元学习方法，通过对贝叶斯神经网络的推理进行逐数据点摊销，引入了摊销伪观测变分推理贝叶斯神经网络（APOVI-BNN）。我们展示了在我们的摊销方案下获得的近似后验与传统变分推理获得的近似后验在质量上是相似或更好的，尽管摊销推理是在单个前向传递中执行的。然后，我们讨论了如何将 APOVI-BNN 看作神经过程家族的新成员，以此作为激励使用神经过程训练目标，以实现在复杂问题上更好的预测性能。最后，我们评估了 APOVI-BNN 在一维回归问题和更复杂的图像完成设置中与其他概率元模型的预测性能，在训练数据有限的情况下，我们的模型在同类模型中表现最好。

Abstract

meta-learning is a framework in which machine learning models train over a set of datasets in order to produce predictions on new datasets at test time. Probabilistic meta-learning has received an abundance of at

meta-learning probabilistic meta-learning amortised inference bayesian neural networks neural processes

发现论文，激发创造

小规模概率元学习中的神经网络分摊推理

使用全局诱导点变分逼近来构造一系列条件分布，从而准确地对真实后验分布进行近似，其中诱导输入可以被实际数据替代，使变分分布由每个数据点的近似似然组成，从而实现了基于完整数据点的均摊推断。

Oct, 2023

元摊分变分推断与学习

本文提出了一种双重摊销变分推理过程来解决传统推理技术训练的生成模型在适应新分布时遇到的困难，通过学习可转移潜在表示，在不同的概率模型之间推广，特别地，应用于图像分布上，该方法在 MNIST 和 NORB 的下游图像分类任务中显著优于基线（分别达 10-50% 和 10-35% 的准确率提升）

Feb, 2019

共享弱化变分推理的元学习

提出了一种新的摊销变分推断方案来处理实证贝叶斯元学习模型，使用变分自编码器方法在有限的训练数据上学习模型参数的先验分布，我们的框架建议在模型参数的条件先验和变分后验分布之间共享相同的摊销推断网络，相比于 Monte-Carlo 近似的早期工作，我们的变分方法避免了条件先验的崩溃并保留了模型参数的不确定性，并在 miniImageNet、CIFAR-FS 和 FC100 数据集上进行了评估，证明了它比以前的方法具有更好的性能。

Aug, 2020

学习如何解决贝叶斯反问题：一种分摊变分推断方法

本文提出了一种基于深度神经网络参数化的先验分布方法，通过学习贝叶斯逆映射实现了实时推理。经过基准问题的验证，该方法的后验估计与马尔可夫链蒙特卡罗方法的对应结果一致，并在前向传递神经网络的代价下提供了观测的后验参数。

May, 2023

摊还变分推断：何时和为何？

Amortized variational inference (A-VI) is a general alternative to factorized (or mean-field) variational inference (F-VI) for approximating intractable posterior distributions, with conditions derived for achieving F-VI's optimal solution and strategies for expanding the domain of the inference function, while certain models like hidden Markov models and Gaussian processes cannot be matched by A-VI.

Jul, 2023

ASPIRE：基于迭代的摊销后验推理方法用于贝叶斯反问题

AMORTIZED 模式的后验推理的 ASPIRE 方法，基于物理和迭代重构的总结统计量，是一种计算高效且高保真度的方法。

May, 2024

PAVI: 平板折旧变分推断

本文提出使用结构化 VI 族来有效处理大量人口研究数据中的潜变量参数空间，并阐述 Plate Amortization 的思想可以加快训练，提高表达力，精简参数，在神经影像学实例中进行了应用，取得了可扩展性和可表达性 VI 的重要进展。

Jun, 2022

神经方法实现参数摊销推理

基于模拟的方法对于统计推断发展迅速，过去 50 年随着技术进步，如今它又迎来一次革命，利用神经网络、优化库和图形处理器进行学习数据和推断目标之间复杂映射，从而快速实现推断。本文回顾了最近在点估计、近似贝叶斯推断、自动构建摘要统计以及似然函数近似等方面取得的进展。综述还包括可用的软件，并通过一个简单实例展示了可用于快速推断的工具及其比起最先进的马尔可夫链蒙特卡洛方法所带来的好处。文章最后总结了相关主题，展望了未来的研究方向。

Apr, 2024

PAVI: 板块摊销变分推断

在大规模人口研究中，通过设计结构化的变分推断方法，使用概率生成模型和参数分布，实现贝叶斯推断，加快了训练速度和收敛速度，为可扩展性和表达性变分推断迈出了重要一步。

Aug, 2023

元学习概率推断用于预测

该论文提出了一个新的旨在使学习更加高效和通用的框架，其基于元学习近似概率推理的概率解释，并使用具有灵活、多用途的摊销网络的实例构造一个不同于传统优化的、在测试时间内通过推理网络进行前向传递的框架 VERSA，该方法在对基准数据集进行的评估中取得了最新的最好成果，可以处理任意数量的 FEL-SHOT 和分类任务，在挑战性的 FEL-SHOT ShapeNet 视图重建任务中也得到了验证。

May, 2018