Mar, 2024

概率生成式电路 —— 揭秘

PDF
TL;DRZhang et al. introduced probabilistic generating circuits (PGCs) as a probabilistic model that unifies probabilistic circuits (PCs) and determinantal point processes (DPPs); the main insight of the paper is that negative weights are responsible for the power of PGCs, and PGCs are essentially PCs with negative weights; PGCs are defined only for binary random variables, while categorial variables with larger image size can be modeled as PCs with negative weights, allowing for tractable marginalization, making PCs with negative weights a stricter subset of PGCs.
probabilistic generating circuitsprobabilistic circuitsdeterminantal point processesnegative weightscategorial variables
发现论文，激发创造
  • 通过修剪和生长来实现稀疏概率电路

    使用剪枝和增长方法，可以大幅提高概率电路的学习性能和模型容量使用效率。

    Nov, 2022

  • 概率神经电路

    概率电路（PC）在最近几年中越来越受关注，作为一个灵活的框架，用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而，可处理性是以牺牲表达力为代价的：PC 相较于神经网络来说表达能力较弱。在本文中，我们引入了概率神经电路（PNC），它在可处理性和表达能力方面在 PC 和神经网络之间取得平衡。从理论上讲，我们证明了 PNC 可以被解释为贝叶斯网络的深度混合。实验证明，PNC 是强大的函数逼近器。

    Mar, 2024

  • 从深度生成模型到可处理概率电路的精馏过程理解

    通过对深度生成模型知识的蒸馏，提出了新的 P-VAE 方法，该方法可以有效地提高准确性，并允许更广泛的应用，我们的结果表明，在几个基准图像数据集上，该方法比基准模型表现更好，特别是在 ImageNet32 数据集上，它取得了 4.06 位每维的结果，仅比变分扩散模型慢 0.34 位。

    Feb, 2023

  • 使用潜在变量蒸馏扩展概率电路

    通过潜变量精炼机制在深度生成模型和 Probabilistic Circuits 之间建立联系，提高了 PCs 在大型和高维现实世界数据集上的性能表现，使其在图像建模中达到了与 VARIATIONAL AUTOENCODERS 和 FLOW-BASED MODELS 相当的竞争力，为可处理的生成建模开辟了新的途径。

    Oct, 2022

  • 特征电路

    在复杂关系数据中，用概率电路的特点电路模型构建高维概率分布，弥补了复杂数据上的不确定性推理中的局限性，进而提出了特征电路作为一种适用于异构数据的可追溯概率模型。

    Dec, 2023

  • 概率积分电路

    连续潜变量是许多生成模型的关键部分，我们通过引入概率积分电路（PICs）将概率电路（PCs）扩展为含有连续潜变量的符号计算图，实现了在简单情况下完全可计算的 PICs，并且通过数值积分可用大型 PCs 对 PICs 进行良好逼近，从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或 SGD 学习的 PCs。

    Oct, 2023

  • 构建具有表达力且易于处理的概率生成模型：综述

    在可计算的概率生成建模领域中，我们提出了一项综合调查，重点关注概率电路（Probabilistic Circuits）。我们对表现力和可计算性之间的固有权衡提供了统一的观点，并突出了构建具有表现力和高效性的概率电路的设计原则和算法扩展，同时提供了一个领域分类。我们还讨论了最近通过融合深度神经模型的概念来构建深层和混合概率电路的努力，并概述了可能指导未来研究的挑战和开放问题。

    Feb, 2024

  • 可计算概率电路的多项式语义

    概率电路、多线性多项式、边缘推断、多项式语义和二元分布是该研究论文的五个关键词，论文证明了对于二元分布来说，这些概率电路模型在一定意义上等价，而且研究了一个称为概率生成电路的多项式语义在分类随机变量上的自然扩展，结果证明边缘推断变得 #P 难。

    Feb, 2024

  • 以概率积分电路形式扩展连续潜变量模型

    通过使用张量化电路架构和神经功能共享技术，本文提出了一种方法来构建任意变量分解的有向无环图状的概率积分电路，并展示了基于数值积分的概率积分电路在训练过程中的优越性。

    Jun, 2024

  • 概率依赖图推断

    对于离散变量的概率依赖图，提出了一种可行的推理算法，通过将其转化为凸优化问题并应用内点方法来达到多项式时间求解，实现优于基准方法的推理效果。

    Nov, 2023