本文介绍了一种基于 Markov 过程的 mean field variational approximation 方法，用于近似描述 Continuous-time Bayesian networks 中的概率分布，并提供了较好的推断和学习效果。

May, 2012

文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

Apr, 2014

本文介绍了一种使用概率分布的随机矩阵来管理参数的变分贝叶斯神经网络，并使用矩阵变量高斯参数后验分布来明确建模每个层的输入和输出维度之间的协方差。此外，使用近似协方差矩阵，可以实现比完全分解更高效且更便宜的表示，同时无需损失模型性能。通过引入“局部重参数化技巧”，可以将此后验分布转换为高斯过程，从而为每个层的隐藏单元提供解释，与深度高斯过程建立联系，并结合伪数据提高了模型采样效率。实验表明所提出的方法的有效性。

Mar, 2016

将Dropout重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了Quasi-KL（QKL）差异作为新的近似推理目标。

Jul, 2018

提出了一种基于优化的贝叶斯推论的新颖泛化方法，称为三原则规则，并通过GVI（广义变分推论）的探索得出应用，包括提高了贝叶斯神经网络和深高斯过程的预测性能和适当的边际。

Apr, 2019

本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用Kullback-Leibler divergence方法的优劣，提出了基于Bayesian linear regression的benchmark方法来评估预测质量和后验近似质量。

Nov, 2020

该研究利用变分推断来近似后验推断高度超参数化的神经网络，研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时，平均场变分推断下的函数空间后验均值实际上收敛于零，完全忽略数据，这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中KL散度过度正则化的洞见。

Jun, 2021

本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

基于无限宽度神经网络的高斯过程，并结合内核和推理方法，构建了一个场论的形式体系，研究了无限宽度网络的泛化性质，并从输入数据的统计性质得到了泛化性质的提取。

Jul, 2023

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024