Traditional learning methods for training markov random fields require doing
inference over all variables to compute the likelihood gradient. The iteration
complexity for those methods therefore scales with the s
我们提出了一种在高斯因子图中进行学习的方法，将所有相关的量（输入、输出、参数、潜变量）都视为随机变量，并将训练和预测视为具有不同观察节点的推理问题。我们的实验结果表明，这些问题可以通过信念传播（BP）进行高效求解，其更新在本质上是局部的，为分布式和异步训练提供了令人兴奋的机会。我们的方法可以扩展到深度网络，并提供了一种自然的方法进行连续学习：使用当前任务的 BP 估计参数边缘作为下一个任务的参数先验。在视频去噪任务中，我们展示了可学习参数相对于经典因子图方法的优势，并展示了深度因子图在 MNIST 连续图像分类上令人鼓舞的性能。
本文提出了一种基于解线性方程组的方法，用于近似解决循环因子带权 Markov 随机场的置信传播问题，并且这种方法能够同时享有完全收敛的保证和较快的矩阵实现、适应于异质网络的特点。实验结果表明，在节点权重较弱的网络图上，这种线性化的方法在保证准确性的同时大大加快了推断速度，达到了与 BP 相当的标签准确性。