本研究提出了一种新的方法,利用概率电路模型(如Sum Product Networks)的可处理性,在一定类型的密度函数下,计算ELBO梯度的情况下,不需要采样即可精确计算。该方法在三种类型的图形模型上展示了其可行性,并证明了概率电路是离散图形模型的变分推断的有前途的工具,因为它们结合了可处理性和表达性。
Oct, 2020
通过潜变量精炼机制在深度生成模型和Probabilistic Circuits之间建立联系,提高了PCs在大型和高维现实世界数据集上的性能表现,使其在图像建模中达到了与VARIATIONAL AUTOENCODERS和FLOW-BASED MODELS相当的竞争力,为可处理的生成建模开辟了新的途径。
Oct, 2022
使用剪枝和增长方法,可以大幅提高概率电路的学习性能和模型容量使用效率。
Nov, 2022
通过对深度生成模型知识的蒸馏,提出了新的P-VAE方法,该方法可以有效地提高准确性,并允许更广泛的应用,我们的结果表明,在几个基准图像数据集上,该方法比基准模型表现更好,特别是在ImageNet32数据集上,它取得了4.06位每维的结果,仅比变分扩散模型慢0.34位。
Feb, 2023
连续潜变量是许多生成模型的关键部分,我们通过引入概率积分电路(PICs)将概率电路(PCs)扩展为含有连续潜变量的符号计算图,实现了在简单情况下完全可计算的PICs,并且通过数值积分可用大型PCs对PICs进行良好逼近,从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或SGD学习的PCs。
Oct, 2023
在可计算的概率生成建模领域中,我们提出了一项综合调查,重点关注概率电路(Probabilistic Circuits)。我们对表现力和可计算性之间的固有权衡提供了统一的观点,并突出了构建具有表现力和高效性的概率电路的设计原则和算法扩展,同时提供了一个领域分类。我们还讨论了最近通过融合深度神经模型的概念来构建深层和混合概率电路的努力,并概述了可能指导未来研究的挑战和开放问题。
Feb, 2024
近似推理是通过使用神经网络来近似代表大型概率分布,该方法通过在查询变量上使用连续多线性函数来近似赋值的代价,并通过神经网络输出解决方案。本论文通过在多个基准数据集上的评估表明,该方法在求解概率电路中的最大边后验和边后验最大估计任务时优于竞争的线性时间近似方法。
PC模型是具有范围完全推理能力的显著可计算的概率模型,该论文主要关注用于训练PC模型的主要算法LearnSPN,我们提出了一种名为SoftLearn的新的学习过程,通过软聚类过程诱导出一个PC模型,实验证明SoftLearn在许多情况下优于LearnSPN,产生更好的似然和样本,我们还分析了可比较的可计算模型来突显软/硬学习和模型查询之间的差异。
Mar, 2024
提出基于GPU的通用实现设计PyJuice改进了现有Probabilistic Circuits的系统,训练大规模Probabilistic Circuits时速度快1-2个数量级,占用GPU内存较少2-5倍。
Jun, 2024
本研究解决了概率机器学习中设计高效推理的生成模型的挑战,提出了一种名为平方和电路的新型概率电路。这种电路在表达能力上能够显著超越传统的单调电路,并开发了一种表达能力层次结构,能够清晰地区分和统一不同的可处理模型类,最终通过实证分析展示了平方和电路在分布估计中的有效性。
Aug, 2024