离散图模型的变分推断概率电路

Oct, 2020

Probabilistic Circuits for Variational Inference in Discrete Graphical Models

Andy Shih, Stefano Ermon

TL;DR本研究提出了一种新的方法，利用概率电路模型（如 Sum Product Networks）的可处理性，在一定类型的密度函数下，计算 ELBO 梯度的情况下，不需要采样即可精确计算。该方法在三种类型的图形模型上展示了其可行性，并证明了概率电路是离散图形模型的变分推断的有前途的工具，因为它们结合了可处理性和表达性。

Abstract

Inference in discrete graphical models with variational methods is difficult because of the inability to re-parameterize gradients of the Evidence Lower Bound (elbo). Many sampling-based methods have been propose

probabilistic circuits discrete graphical models variational inference sum product networks elbo

发现论文，激发创造

自顶向下的贝叶斯后验抽样在和积网络中的应用

通过导出一种新的 Gibbs 采样的全部条件概率，通过边际化多个随机变量来快速获得后验分布，我们提出了一种可用于大规模 sum-product networks 的贝叶斯学习方法，同时还提出了一种超参数调优方法，通过在大规模 sum-product networks 中平衡先验分布的多样性和优化效率，改进了学习时间复杂度，并在超过 20 个数据集的数值实验中展示出了十倍到一百倍以上的计算速度和优秀的预测性能。

Jun, 2024

利用图引出的和 - 积网络进行易处理的概率图表征学习

本文介绍了一种名为图感知积 - 和网络 (Graph-Induced Sum-Product Networks, GSPN) 的新的概率图形学习框架，它可以有迹可循地回答概率性问题。本模型与传统的神经网络模型的计算图有异曲同工之妙，因此在深度图网络方面具有优越性，同时具有一种纯概率模型的额外优势。通过定量实验和定性分析，证明了此模型在应对缺乏监督数据、处理缺失数据和图像分类等方面的竞争优势。

May, 2023

使用随机和积网络的概率深度学习

本文提出了一种新的基于 SPN 和深度神经网络的概率深度学习模型，称为 RAT-SPNs，该模型具有充分评估数据似然，任意边缘化和条件任务的优势，并且仍然可解释为生成模型，并保持了良好的校准不确定性，从而使其高度鲁棒性和自然地检测异常值和独特样本。

Jun, 2018

Sum-Product Networks: 一种新的深层网络结构

提出了一种新型深层架构 —— 求和积网络（SPN），通过学习和推理，SPNs 能够实现比标准深层网络更快和更准确的图形建模推理，例如在图像完成任务方面表现优异。

Feb, 2012

软学习概率电路

PC 模型是具有范围完全推理能力的显著可计算的概率模型，该论文主要关注用于训练 PC 模型的主要算法 LearnSPN，我们提出了一种名为 SoftLearn 的新的学习过程，通过软聚类过程诱导出一个 PC 模型，实验证明 SoftLearn 在许多情况下优于 LearnSPN，产生更好的似然和样本，我们还分析了可比较的可计算模型来突显软 / 硬学习和模型查询之间的差异。

Mar, 2024

学习用于概率语义地图的图结构求和 - 乘积网络

介绍了一种名为图结构和积网络的概率方法，可用于机器人领域的结构预测问题，演示了该方法如何通过处理机器人在大规模办公空间中的嘈杂拓扑关系来提高关于语义概念描述的推断，并显示 GraphSPNs 始终优于传统基于无向图模型的方法。

Sep, 2017

Sum-Product Networks 与贝叶斯网络之间的关系

本文研究和探讨了和 Sum-Product Networks 有关的 Bayesian Networks 的理论联系，并给出了使用 Algebraic Decision Diagrams 来表示和转换 SPN 为 BN 的一个线性时间和空间复杂度的算法。同时，用 Variable Elimination 算法来恢复原始的 SPN，并且介绍了 SPN 的深度和对应的 BN 树宽的下界之间的联系。

Jan, 2015

Sum Product Networks 的表达效率

本文分析了 Sum Product Networks 中的 D&C 条件，并揭示了它们与多线性算术电路之间的联系，探讨了它们能够捕捉各种分布的效果，并考虑了深度对其性能的影响。

Nov, 2014

关于和积网络中潜在变量的解释

本文提出了一种 SPN 增强方法，将 sum 节点解释为潜在变量（LVs），并指出以前的方法与 SPN 的完备条件冲突，未充分识别概率模型。作者给出了 SPN 的 EM 算法派生和 Viterbi 算法的正确性，同时在合成和 103 个真实数据集上得到了验证。

Jan, 2016

使用和积网络学习深层高斯过程专家混合模型

本文介绍通过将高斯过程嵌入可计算的和积网络中，实现灵活的先验函数分布，从而实现计算和内存高效、容易实施后验推理的概率回归模型。

Sep, 2018