累积分布函数的概率电路
本文研究在机器学习中广泛使用的图形模型中,一种基于离散傅里叶变换的紧凑表示方法,以及在这种表示方法下的概率分布的逼近方法。我们展示了这个理论结果的应用,并证明了它相对于传统的表示方法和其他逼近算法的显著优势。
Aug, 2015
本文研究如何编译具有失效、离散和连续分布的概率编程语言,并证明其正确性。通过使用标准的马尔可夫链蒙特卡罗框架对全球碳循环进行建模解决推理问题,表明本编译器大大减少了领域专家的开发工作量。
Apr, 2017
本文研究了概率电路(PCs)的鲁棒性,并发现它们对于OOD数据并不鲁棒。为了解决这个问题,我们提出了一种可解释的辍学推理(TDI)方法,并通过一系列实验证明了其提高PCs对于分布变化和OOD数据的鲁棒性的性能。
Feb, 2023
We introduce an exact Bayesian inference method for discrete statistical models, using a probabilistic programming language that supports both discrete and continuous sampling, and probability generating functions to compute posterior probabilities, expectation, variance, and higher moments automatically and with competitive performance.
May, 2023
概率电路、多线性多项式、边缘推断、多项式语义和二元分布是该研究论文的五个关键词,论文证明了对于二元分布来说,这些概率电路模型在一定意义上等价,而且研究了一个称为概率生成电路的多项式语义在分类随机变量上的自然扩展,结果证明边缘推断变得#P难。
Feb, 2024
概率电路(PC)在最近几年中越来越受关注,作为一个灵活的框架,用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而,可处理性是以牺牲表达力为代价的:PC相较于神经网络来说表达能力较弱。在本文中,我们引入了概率神经电路(PNC),它在可处理性和表达能力方面在PC和神经网络之间取得平衡。从理论上讲,我们证明了PNC可以被解释为贝叶斯网络的深度混合。实验证明,PNC是强大的函数逼近器。
Mar, 2024
Zhang et al. introduced probabilistic generating circuits (PGCs) as a probabilistic model that unifies probabilistic circuits (PCs) and determinantal point processes (DPPs); the main insight of the paper is that negative weights are responsible for the power of PGCs, and PGCs are essentially PCs with negative weights; PGCs are defined only for binary random variables, while categorial variables with larger image size can be modeled as PCs with negative weights, allowing for tractable marginalization, making PCs with negative weights a stricter subset of PGCs.
Mar, 2024
本研究解决了单调电路与平方电路在概率建模中的可比性问题,提出了一种新型电路InceptionPCs,能够自然涵盖两者作为特例,并使用复杂参数。实验证明,InceptionPCs在图像数据集上优于单调电路和平方电路。
Aug, 2024