理解信念传播的行为
提出了一种基于预测信念传播的新型学习和推断算法,对于一般潜变量图模型,算法将硬参数学习问题简化为一系列监督学习问题,并将学习不同种类的潜变量图模型统一到一个局部最优、统计一致的学习框架中,此算法在合成和真实数据集上显著优于前人方法,也更快地计算。
Dec, 2017
本文提出了一种将 Belief Propagation 算法扩展到量子网络的方法,并研究了量子 Markov Networks 的结构,探讨了使用量子 Belief Propagation 作为一种启发式算法的可能性。最后,描述了该方法在量子纠错编码和模拟多体量子系统中的应用。
Aug, 2007
本文介绍了一种名为计数 BP 的新型 BP 算法,它利用了图模型中存在的对称性,通过构建压缩图模型的方式实现更高效的模型推理,在包括动态关系模型和布尔模型计数等多种人工智能任务中取得显著的效率提升。
May, 2012
本研究提出了一种新的确定性逼近方法 ——“期望传播”,它将两种先前的技术统一起来,即卡尔曼滤波器的扩展和贝叶斯网络中一种置信传播方法的扩展;试图恢复一个近似分布,其 KL 散度接近真实分布,并且 Experiments with Gaussian mixture models show Expectation Propagation to be convincingly better than methods with similar computational cost: Laplace's method, variational Bayes, and Monte Carlo。而期望传播还提供了一种高效的算法,用于训练贝叶斯点机分类器。
Jan, 2013
本文提出了一种称为 “块置信传播学习” 的方法,该方法使用近似边际的块坐标更新来计算梯度,从而避免了对整个图形模型进行推理。通过实验证明,该方法相较于标准训练方法具有更高的可扩展性。
Nov, 2018
我们提出了一种在高斯因子图中进行学习的方法,将所有相关的量(输入、输出、参数、潜变量)都视为随机变量,并将训练和预测视为具有不同观察节点的推理问题。我们的实验结果表明,这些问题可以通过信念传播(BP)进行高效求解,其更新在本质上是局部的,为分布式和异步训练提供了令人兴奋的机会。我们的方法可以扩展到深度网络,并提供了一种自然的方法进行连续学习:使用当前任务的 BP 估计参数边缘作为下一个任务的参数先验。在视频去噪任务中,我们展示了可学习参数相对于经典因子图方法的优势,并展示了深度因子图在 MNIST 连续图像分类上令人鼓舞的性能。
Nov, 2023