belief propagation algorithms acting on Graphical Models of classical
probability distributions, such as Markov Networks, Factor Graphs and Bayesian
Networks, are amongst the most powerful known methods for deriving
pro
我们提出了一种在高斯因子图中进行学习的方法,将所有相关的量(输入、输出、参数、潜变量)都视为随机变量,并将训练和预测视为具有不同观察节点的推理问题。我们的实验结果表明,这些问题可以通过信念传播(BP)进行高效求解,其更新在本质上是局部的,为分布式和异步训练提供了令人兴奋的机会。我们的方法可以扩展到深度网络,并提供了一种自然的方法进行连续学习:使用当前任务的 BP 估计参数边缘作为下一个任务的参数先验。在视频去噪任务中,我们展示了可学习参数相对于经典因子图方法的优势,并展示了深度因子图在 MNIST 连续图像分类上令人鼓舞的性能。
本文提出了一种基于解线性方程组的方法,用于近似解决循环因子带权 Markov 随机场的置信传播问题,并且这种方法能够同时享有完全收敛的保证和较快的矩阵实现、适应于异质网络的特点。实验结果表明,在节点权重较弱的网络图上,这种线性化的方法在保证准确性的同时大大加快了推断速度,达到了与 BP 相当的标签准确性。