使用潜在变量蒸馏扩展概率电路

Oct, 2022

Scaling Up Probabilistic Circuits by Latent Variable Distillation

Anji Liu, Honghua Zhang, Guy Van den Broeck

TL;DR通过潜变量精炼机制在深度生成模型和 Probabilistic Circuits 之间建立联系，提高了 PCs 在大型和高维现实世界数据集上的性能表现，使其在图像建模中达到了与 VARIATIONAL AUTOENCODERS 和 FLOW-BASED MODELS 相当的竞争力，为可处理的生成建模开辟了新的途径。

Abstract

probabilistic circuits (PCs) are a unified framework for tractable probabilistic models that support efficient computation of various probabilistic queries (e.g., marginal probabilities). One key challenge is to

probabilistic circuits latent variable distillation deep generative models efficient computation tractable generative modeling

发现论文，激发创造

从深度生成模型到可处理概率电路的精馏过程理解

通过对深度生成模型知识的蒸馏，提出了新的 P-VAE 方法，该方法可以有效地提高准确性，并允许更广泛的应用，我们的结果表明，在几个基准图像数据集上，该方法比基准模型表现更好，特别是在 ImageNet32 数据集上，它取得了 4.06 位每维的结果，仅比变分扩散模型慢 0.34 位。

Feb, 2023

通过修剪和生长来实现稀疏概率电路

使用剪枝和增长方法，可以大幅提高概率电路的学习性能和模型容量使用效率。

Nov, 2022

以概率积分电路形式扩展连续潜变量模型

通过使用张量化电路架构和神经功能共享技术，本文提出了一种方法来构建任意变量分解的有向无环图状的概率积分电路，并展示了基于数值积分的概率积分电路在训练过程中的优越性。

Jun, 2024

概率积分电路

连续潜变量是许多生成模型的关键部分，我们通过引入概率积分电路（PICs）将概率电路（PCs）扩展为含有连续潜变量的符号计算图，实现了在简单情况下完全可计算的 PICs，并且通过数值积分可用大型 PCs 对 PICs 进行良好逼近，从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或 SGD 学习的 PCs。

Oct, 2023

可处理电路模型的组合概率和因果推断

介绍了一种新的结构形式 md-vtrees 来描述可分解概率电路中的决策概率，并展示了如何将其用于派生多项式时间算法，特别是在因果推理查询中。同时，提出了基于该结构的 MDNets 概率电路架构，并在因果推理中进行了实验验证。

Apr, 2023

知道自己不知道的概率电路

本文研究了概率电路（PCs）的鲁棒性，并发现它们对于 OOD 数据并不鲁棒。为了解决这个问题，我们提出了一种可解释的辍学推理（TDI）方法，并通过一系列实验证明了其提高 PCs 对于分布变化和 OOD 数据的鲁棒性的性能。

Feb, 2023

可扩展可计算概率电路：系统视角

提出基于 GPU 的通用实现设计 PyJuice 改进了现有 Probabilistic Circuits 的系统，训练大规模 Probabilistic Circuits 时速度快 1-2 个数量级，占用 GPU 内存较少 2-5 倍。

Jun, 2024

特征电路

在复杂关系数据中，用概率电路的特点电路模型构建高维概率分布，弥补了复杂数据上的不确定性推理中的局限性，进而提出了特征电路作为一种适用于异构数据的可追溯概率模型。

Dec, 2023

可处理概率模型的连续混合

本文提出了一种混合模型方法，将连续潜在空间的概率模型与可计算的概率电路相结合，用于密度估计，通过实验证明这种方法在许多标准密度估计基准测试中超越了以往的可计算模型。

Sep, 2022

通过凸优化实现具有约束条件的概率电路

该研究通过将概率命题逻辑约束集成到概率电路所编码的分布中，提出了一种有效的方法来改善模型在数据稀缺或不完整情况下的性能，并在不损害模型适应性的同时，将机器学习公平性度量应用到模型中。

Mar, 2024