概率电路中边缘MAP的神经网络逼近器
研究了贝叶斯网络中 MAP 问题的复杂性,发现即使 MPE 和 Pr 可以轻松计算,MAP 仍然很难。为了找到一个接近最优解的算法,提出了一种通用的 MAP 近似框架,并给出了两个具体的实现,用于对那些即使 Pr 和 MPE 都难以计算的网络进行近似。实验结果表明,这些算法比标准技术提供更好的解决方案,并在许多情况下提供准确的 MAP 估计。
Jun, 2011
该研究工作将双重分解泛化为通用幂和推理任务,包括边缘MAP推理、纯边缘化和MAP任务,并基于一个新的凸分解界限上的块坐标下降算法,证明其比之前的方法更快、更可靠。
Nov, 2015
提出一种名为XOR_MMAP的新方法来解决边缘最大后验问题,该方法利用NP问答机制表示难以处理的计数子问题,采用附加奇偶性约束来进行求解,具有较低的复杂度,并在多个机器学习和决策制定应用中表现优异。
Oct, 2016
本文提出了基于Einsum Networks的概率电路模型实现,通过简化Expectation-Maximization算法的实现以及在数据集上的应用来提高其可扩展性,并且作为一种忠实的生成图像模型。
Apr, 2020
本研究提出了一种新的方法,利用概率电路模型(如Sum Product Networks)的可处理性,在一定类型的密度函数下,计算ELBO梯度的情况下,不需要采样即可精确计算。该方法在三种类型的图形模型上展示了其可行性,并证明了概率电路是离散图形模型的变分推断的有前途的工具,因为它们结合了可处理性和表达性。
Oct, 2020
连续潜变量是许多生成模型的关键部分,我们通过引入概率积分电路(PICs)将概率电路(PCs)扩展为含有连续潜变量的符号计算图,实现了在简单情况下完全可计算的PICs,并且通过数值积分可用大型PCs对PICs进行良好逼近,从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或SGD学习的PCs。
Oct, 2023
概率电路(PC)在最近几年中越来越受关注,作为一个灵活的框架,用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而,可处理性是以牺牲表达力为代价的:PC相较于神经网络来说表达能力较弱。在本文中,我们引入了概率神经电路(PNC),它在可处理性和表达能力方面在PC和神经网络之间取得平衡。从理论上讲,我们证明了PNC可以被解释为贝叶斯网络的深度混合。实验证明,PNC是强大的函数逼近器。
Mar, 2024
PC模型是具有范围完全推理能力的显著可计算的概率模型,该论文主要关注用于训练PC模型的主要算法LearnSPN,我们提出了一种名为SoftLearn的新的学习过程,通过软聚类过程诱导出一个PC模型,实验证明SoftLearn在许多情况下优于LearnSPN,产生更好的似然和样本,我们还分析了可比较的可计算模型来突显软/硬学习和模型查询之间的差异。
Mar, 2024