在本文中，我们提出了一种更数据高效的概率元学习方法，通过对贝叶斯神经网络的推理进行逐数据点摊销，引入了摊销伪观测变分推理贝叶斯神经网络（APOVI-BNN）。我们展示了在我们的摊销方案下获得的近似后验与传统变分推理获得的近似后验在质量上是相似或更好的，尽管摊销推理是在单个前向传递中执行的。然后，我们讨论了如何将 APOVI-BNN 看作神经过程家族的新成员，以此作为激励使用神经过程训练目标，以实现在复杂问题上更好的预测性能。最后，我们评估了 APOVI-BNN 在一维回归问题和更复杂的图像完成设置中与其他概率元模型的预测性能，在训练数据有限的情况下，我们的模型在同类模型中表现最好。

Sep, 2023

提出了一种新的摊销变分推断方案来处理实证贝叶斯元学习模型，使用变分自编码器方法在有限的训练数据上学习模型参数的先验分布，我们的框架建议在模型参数的条件先验和变分后验分布之间共享相同的摊销推断网络，相比于 Monte-Carlo 近似的早期工作，我们的变分方法避免了条件先验的崩溃并保留了模型参数的不确定性，并在 miniImageNet、CIFAR-FS 和 FC100 数据集上进行了评估，证明了它比以前的方法具有更好的性能。

Aug, 2020

基于模拟的方法对于统计推断发展迅速，过去 50 年随着技术进步，如今它又迎来一次革命，利用神经网络、优化库和图形处理器进行学习数据和推断目标之间复杂映射，从而快速实现推断。本文回顾了最近在点估计、近似贝叶斯推断、自动构建摘要统计以及似然函数近似等方面取得的进展。综述还包括可用的软件，并通过一个简单实例展示了可用于快速推断的工具及其比起最先进的马尔可夫链蒙特卡洛方法所带来的好处。文章最后总结了相关主题，展望了未来的研究方向。

Apr, 2024

本文提出了一种基于深度神经网络参数化的先验分布方法，通过学习贝叶斯逆映射实现了实时推理。经过基准问题的验证，该方法的后验估计与马尔可夫链蒙特卡罗方法的对应结果一致，并在前向传递神经网络的代价下提供了观测的后验参数。

May, 2023

本文提出了一种双重摊销变分推理过程来解决传统推理技术训练的生成模型在适应新分布时遇到的困难，通过学习可转移潜在表示，在不同的概率模型之间推广，特别地，应用于图像分布上，该方法在 MNIST 和 NORB 的下游图像分类任务中显著优于基线（分别达 10-50% 和 10-35% 的准确率提升）

Feb, 2019

我们提出了迭代推理模型，它通过反复编码梯度来学习执行推理优化，从而实现对标准推理模型在多个基准数据集的图像和文本上的超越。

Jul, 2018

提出了一种新的近似推断算法，通过按摩用户选择的 MCMC 采样器的动态来近似目标分布，并使用这些样本更新近似网络，从而提高其质量，进而允许高度复杂或隐含定义的近似族，包括通过深度神经网络扭曲随机性源而产生的近似。实验以使用深度生成模型的图像建模为测试。通过摊销 MCMC 训练的深度模型被证明可以生成逼真的图像样本，以及为具有缺失像素区域的图像产生多样的填充结果。

Feb, 2017

研究了变分自编码器中的近似推理，发现推理网络的不完美会导致与真实后验的偏差，并且发现用于提高近似值的参数对于推理的泛化起到重要作用。

Jan, 2018

本文提出了一种新的、严谨的贝叶斯元学习算法，用于学习少样本学习的模型参数先验的概率分布。该算法采用基于梯度的变分推断来推断模型参数的后验分布。我们展示了使用我们提出的元学习算法训练的模型具有良好的校准和准确性，在两个少样本分类基准测试（Omniglot 和 Mini-ImageNet）上取得了最新的校准和分类结果，并在多模式任务分布回归中获得了有竞争力的结果。

Jul, 2019

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023