平方和电路
本文综述了正则流动的研究现状,通过概率建模和推断的视角,分析了其表达能力、计算权衡等基础原理,并将其与更一般的概率转换联系起来,总结了其在生成建模、近似推断和监督学习等任务中的应用。
Dec, 2019
本文提出了基于Einsum Networks的概率电路模型实现,通过简化Expectation-Maximization算法的实现以及在数据集上的应用来提高其可扩展性,并且作为一种忠实的生成图像模型。
Apr, 2020
通过对深度生成模型知识的蒸馏,提出了新的P-VAE方法,该方法可以有效地提高准确性,并允许更广泛的应用,我们的结果表明,在几个基准图像数据集上,该方法比基准模型表现更好,特别是在ImageNet32数据集上,它取得了4.06位每维的结果,仅比变分扩散模型慢0.34位。
Feb, 2023
混合模型通过减去概率质量或密度可以有效地减少建模复杂分布所需的组件数量,并在保证编码非负函数的同时学习这种减法混合技术。我们在概率电路的框架中调查了如何学习和推断深度减法混合模型,并通过将它们平方来实现。理论上验证了允许减法操作的平方电路类可以比传统的加法混合模型更具指数级表达能力;并在一系列实际分布估计任务上通过实验证明了这种增强的表达能力。
Oct, 2023
连续潜变量是许多生成模型的关键部分,我们通过引入概率积分电路(PICs)将概率电路(PCs)扩展为含有连续潜变量的符号计算图,实现了在简单情况下完全可计算的PICs,并且通过数值积分可用大型PCs对PICs进行良好逼近,从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或SGD学习的PCs。
Oct, 2023
在可计算的概率生成建模领域中,我们提出了一项综合调查,重点关注概率电路(Probabilistic Circuits)。我们对表现力和可计算性之间的固有权衡提供了统一的观点,并突出了构建具有表现力和高效性的概率电路的设计原则和算法扩展,同时提供了一个领域分类。我们还讨论了最近通过融合深度神经模型的概念来构建深层和混合概率电路的努力,并概述了可能指导未来研究的挑战和开放问题。
Feb, 2024
概率电路、多线性多项式、边缘推断、多项式语义和二元分布是该研究论文的五个关键词,论文证明了对于二元分布来说,这些概率电路模型在一定意义上等价,而且研究了一个称为概率生成电路的多项式语义在分类随机变量上的自然扩展,结果证明边缘推断变得#P难。
Feb, 2024
本研究解决了单调电路与平方电路在概率建模中的可比性问题,提出了一种新型电路InceptionPCs,能够自然涵盖两者作为特例,并使用复杂参数。实验证明,InceptionPCs在图像数据集上优于单调电路和平方电路。
Aug, 2024