Mar, 2024

软学习概率电路

PDF
TL;DRPC 模型是具有范围完全推理能力的显著可计算的概率模型，该论文主要关注用于训练 PC 模型的主要算法 LearnSPN，我们提出了一种名为 SoftLearn 的新的学习过程，通过软聚类过程诱导出一个 PC 模型，实验证明 SoftLearn 在许多情况下优于 LearnSPN，产生更好的似然和样本，我们还分析了可比较的可计算模型来突显软 / 硬学习和模型查询之间的差异。
probabilistic circuitslearnspntraining algorithmsoft clustering processtractable models
发现论文，激发创造
  • 通过修剪和生长来实现稀疏概率电路

    使用剪枝和增长方法，可以大幅提高概率电路的学习性能和模型容量使用效率。

    Nov, 2022

  • 离散图模型的变分推断概率电路

    本研究提出了一种新的方法，利用概率电路模型（如 Sum Product Networks）的可处理性，在一定类型的密度函数下，计算 ELBO 梯度的情况下，不需要采样即可精确计算。该方法在三种类型的图形模型上展示了其可行性，并证明了概率电路是离散图形模型的变分推断的有前途的工具，因为它们结合了可处理性和表达性。

    Oct, 2020

  • 从深度生成模型到可处理概率电路的精馏过程理解

    通过对深度生成模型知识的蒸馏，提出了新的 P-VAE 方法，该方法可以有效地提高准确性，并允许更广泛的应用，我们的结果表明，在几个基准图像数据集上，该方法比基准模型表现更好，特别是在 ImageNet32 数据集上，它取得了 4.06 位每维的结果，仅比变分扩散模型慢 0.34 位。

    Feb, 2023

  • 概率神经电路

    概率电路（PC）在最近几年中越来越受关注，作为一个灵活的框架，用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而，可处理性是以牺牲表达力为代价的：PC 相较于神经网络来说表达能力较弱。在本文中，我们引入了概率神经电路（PNC），它在可处理性和表达能力方面在 PC 和神经网络之间取得平衡。从理论上讲，我们证明了 PNC 可以被解释为贝叶斯网络的深度混合。实验证明，PNC 是强大的函数逼近器。

    Mar, 2024

  • 概率电路的人类联合学习的统一框架

    基于概率电路，借助领域知识进行参数学习的新型统一框架，能够有效高效地优化数据驱动学习方法，并在多个基准和真实数据集上取得优异性能。

    May, 2024

  • Einsum Networks: 可计算概率电路的快速可扩展学习

    本文提出了基于 Einsum Networks 的概率电路模型实现，通过简化 Expectation-Maximization 算法的实现以及在数据集上的应用来提高其可扩展性，并且作为一种忠实的生成图像模型。

    Apr, 2020

  • 特征电路

    在复杂关系数据中，用概率电路的特点电路模型构建高维概率分布，弥补了复杂数据上的不确定性推理中的局限性，进而提出了特征电路作为一种适用于异构数据的可追溯概率模型。

    Dec, 2023

  • 利用图引出的和 - 积网络进行易处理的概率图表征学习

    本文介绍了一种名为图感知积 - 和网络 (Graph-Induced Sum-Product Networks, GSPN) 的新的概率图形学习框架，它可以有迹可循地回答概率性问题。本模型与传统的神经网络模型的计算图有异曲同工之妙，因此在深度图网络方面具有优越性，同时具有一种纯概率模型的额外优势。通过定量实验和定性分析，证明了此模型在应对缺乏监督数据、处理缺失数据和图像分类等方面的竞争优势。

    May, 2023

  • 概率电路的贝叶斯结构分数

    本文提出了一种基于贝叶斯分数的确定性概率电路结构学习方法，其有效避免过拟合并实现快速准确的模型适配。

    Feb, 2023

  • 知道自己不知道的概率电路

    本文研究了概率电路（PCs）的鲁棒性，并发现它们对于 OOD 数据并不鲁棒。为了解决这个问题，我们提出了一种可解释的辍学推理（TDI）方法，并通过一系列实验证明了其提高 PCs 对于分布变化和 OOD 数据的鲁棒性的性能。

    Feb, 2023