通过修剪和生长来实现稀疏概率电路
通过潜变量精炼机制在深度生成模型和 Probabilistic Circuits 之间建立联系,提高了 PCs 在大型和高维现实世界数据集上的性能表现,使其在图像建模中达到了与 VARIATIONAL AUTOENCODERS 和 FLOW-BASED MODELS 相当的竞争力,为可处理的生成建模开辟了新的途径。
Oct, 2022
概率电路(PC)在最近几年中越来越受关注,作为一个灵活的框架,用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而,可处理性是以牺牲表达力为代价的:PC 相较于神经网络来说表达能力较弱。在本文中,我们引入了概率神经电路(PNC),它在可处理性和表达能力方面在 PC 和神经网络之间取得平衡。从理论上讲,我们证明了 PNC 可以被解释为贝叶斯网络的深度混合。实验证明,PNC 是强大的函数逼近器。
Mar, 2024
PC 模型是具有范围完全推理能力的显著可计算的概率模型,该论文主要关注用于训练 PC 模型的主要算法 LearnSPN,我们提出了一种名为 SoftLearn 的新的学习过程,通过软聚类过程诱导出一个 PC 模型,实验证明 SoftLearn 在许多情况下优于 LearnSPN,产生更好的似然和样本,我们还分析了可比较的可计算模型来突显软 / 硬学习和模型查询之间的差异。
Mar, 2024
本文提出了一种名为 PUTPUT(通过修剪基本逻辑理论进行概率电路理解)的方法,通过计算可理解的、可读的逻辑理论来改进概率电路的可解释性,并应用于一个真实的使用案例,即自动生成音乐播放列表并将其表示为可读(数据库)查询。评估结果表明,该方法能够有效地生成描述概率电路高密度区域的可理解的逻辑理论,并在性能和可理解性权衡方面优于现有方法。
Nov, 2023
通过对深度生成模型知识的蒸馏,提出了新的 P-VAE 方法,该方法可以有效地提高准确性,并允许更广泛的应用,我们的结果表明,在几个基准图像数据集上,该方法比基准模型表现更好,特别是在 ImageNet32 数据集上,它取得了 4.06 位每维的结果,仅比变分扩散模型慢 0.34 位。
Feb, 2023
Zhang et al. introduced probabilistic generating circuits (PGCs) as a probabilistic model that unifies probabilistic circuits (PCs) and determinantal point processes (DPPs); the main insight of the paper is that negative weights are responsible for the power of PGCs, and PGCs are essentially PCs with negative weights; PGCs are defined only for binary random variables, while categorial variables with larger image size can be modeled as PCs with negative weights, allowing for tractable marginalization, making PCs with negative weights a stricter subset of PGCs.
Mar, 2024
该研究通过将概率命题逻辑约束集成到概率电路所编码的分布中,提出了一种有效的方法来改善模型在数据稀缺或不完整情况下的性能,并在不损害模型适应性的同时,将机器学习公平性度量应用到模型中。
Mar, 2024
提出基于 GPU 的通用实现设计 PyJuice 改进了现有 Probabilistic Circuits 的系统,训练大规模 Probabilistic Circuits 时速度快 1-2 个数量级,占用 GPU 内存较少 2-5 倍。
Jun, 2024