Nov, 2023

用高斯置信传播在深度因子图中学习

PDF
TL;DR我们提出了一种在高斯因子图中进行学习的方法，将所有相关的量（输入、输出、参数、潜变量）都视为随机变量，并将训练和预测视为具有不同观察节点的推理问题。我们的实验结果表明，这些问题可以通过信念传播（BP）进行高效求解，其更新在本质上是局部的，为分布式和异步训练提供了令人兴奋的机会。我们的方法可以扩展到深度网络，并提供了一种自然的方法进行连续学习：使用当前任务的 BP 估计参数边缘作为下一个任务的参数先验。在视频去噪任务中，我们展示了可学习参数相对于经典因子图方法的优势，并展示了深度因子图在 MNIST 连续图像分类上令人鼓舞的性能。
gaussian factor graphslearningbelief propagationdistributed trainingcontinual learning
发现论文，激发创造
  • 因子图上基于神经网络的增强置信传播

    本文提出了一种新的混合模型，将因子图神经网络与置信传播结合起来，通过每一次迭代交替地运行，从而在误差纠正编码任务方面优于置信传播。

    Mar, 2020

  • 利用预测信念传播学习通用潜变量图模型

    提出了一种基于预测信念传播的新型学习和推断算法，对于一般潜变量图模型，算法将硬参数学习问题简化为一系列监督学习问题，并将学习不同种类的潜变量图模型统一到一个局部最优、统计一致的学习框架中，此算法在合成和真实数据集上显著优于前人方法，也更快地计算。

    Dec, 2017

  • 马尔可夫随机场参数学习的块信念传播

    本文提出了一种称为 “块置信传播学习” 的方法，该方法使用近似边际的块坐标更新来计算梯度，从而避免了对整个图形模型进行推理。通过实验证明，该方法相较于标准训练方法具有更高的可扩展性。

    Nov, 2018

  • 深度关注信念传播：融合推理与学习以解决约束优化问题

    通过将 Belief Propagation、门控循环单元和图注意力网络无缝地整合进消息传递框架中，我们提出了一种名为 DABP 的深度注意力置信传播模型，它可以推断得到优化后的权重和阻尼因子，通过无需昂贵的训练标签，可有效避免常见的分布问题进行自我监督学习，并通过实验表明它显著优于现有的基线模型。

    Sep, 2022

  • 高维系统高效推理的高斯集成置信传播

    高维模型中的高效推理是机器学习中的一大挑战。本文介绍了高斯集成信念传播算法（GEnBP），它是集合卡尔曼滤波器和高斯信念传播方法的融合。GEnBP 通过图模型结构中的低秩局部消息传递来更新集合，结合了每种方法的优点，能够处理高维状态、参数和复杂、嘈杂、黑盒子生成过程。GEnBP 特别适用于集合大小远小于推理维度的情况，常见于时空建模、图像处理和物理模型反演等领域。GEnBP 可应用于包括联合学习系统参数、观测参数和潜在状态变量在内的一般问题结构。

    Feb, 2024

  • 信念传播再进化：学习 BP 层用于标签问题

    本文提出一种基于深度学习模型的简化 Belief Propagation 方法 (BP Layer)，并将其作为卷积神经网络 (CNNs) 的中间层或者最终层来解决密集预测问题，如立体，光学流和语义分割等。

    Mar, 2020

  • 置信传播计数

    本文介绍了一种名为计数 BP 的新型 BP 算法，它利用了图模型中存在的对称性，通过构建压缩图模型的方式实现更高效的模型推理，在包括动态关系模型和布尔模型计数等多种人工智能任务中取得显著的效率提升。

    May, 2012

  • 供应网络的信念传播：因子图的高效聚类

    本文提出了一种系统性的方式来对 naively 分配的因子图进行循环聚类，从而消除短路的影响，以提高 BP 算法在供应网络中的性能表现，实现了对供应网络中状态估计和优化问题的快速、可靠计算。

    Mar, 2022

  • 信念传播学习主题模型

    该研究提出了一种基于马尔可夫随机场框架下的因子图表示方法，实现了传统信念传播算法对隐含狄利克雷分配模型的近似推理和参数估计，该算法在速度和准确性方面均具有竞争力，并且可以成为基于 LDA 的话题模型的通用学习方案。

    Sep, 2011

  • 基于图神经网络的概率图模型推理

    使用图神经网络作为一种有利于推断任务的推送算法，对于在循环密集的概率有向图上显著优于置信传播算法

    Mar, 2018