关于概率电路中硬件高效推断的研究
该研究通过将概率命题逻辑约束集成到概率电路所编码的分布中,提出了一种有效的方法来改善模型在数据稀缺或不完整情况下的性能,并在不损害模型适应性的同时,将机器学习公平性度量应用到模型中。
Mar, 2024
本文提出了基于 Einsum Networks 的概率电路模型实现,通过简化 Expectation-Maximization 算法的实现以及在数据集上的应用来提高其可扩展性,并且作为一种忠实的生成图像模型。
Apr, 2020
本文提出了一种名为 PUTPUT(通过修剪基本逻辑理论进行概率电路理解)的方法,通过计算可理解的、可读的逻辑理论来改进概率电路的可解释性,并应用于一个真实的使用案例,即自动生成音乐播放列表并将其表示为可读(数据库)查询。评估结果表明,该方法能够有效地生成描述概率电路高密度区域的可理解的逻辑理论,并在性能和可理解性权衡方面优于现有方法。
Nov, 2023
连续潜变量是许多生成模型的关键部分,我们通过引入概率积分电路(PICs)将概率电路(PCs)扩展为含有连续潜变量的符号计算图,实现了在简单情况下完全可计算的 PICs,并且通过数值积分可用大型 PCs 对 PICs 进行良好逼近,从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或 SGD 学习的 PCs。
Oct, 2023
通过潜变量精炼机制在深度生成模型和 Probabilistic Circuits 之间建立联系,提高了 PCs 在大型和高维现实世界数据集上的性能表现,使其在图像建模中达到了与 VARIATIONAL AUTOENCODERS 和 FLOW-BASED MODELS 相当的竞争力,为可处理的生成建模开辟了新的途径。
Oct, 2022
近似推理是通过使用神经网络来近似代表大型概率分布,该方法通过在查询变量上使用连续多线性函数来近似赋值的代价,并通过神经网络输出解决方案。本论文通过在多个基准数据集上的评估表明,该方法在求解概率电路中的最大边后验和边后验最大估计任务时优于竞争的线性时间近似方法。
Feb, 2024
PC 模型是具有范围完全推理能力的显著可计算的概率模型,该论文主要关注用于训练 PC 模型的主要算法 LearnSPN,我们提出了一种名为 SoftLearn 的新的学习过程,通过软聚类过程诱导出一个 PC 模型,实验证明 SoftLearn 在许多情况下优于 LearnSPN,产生更好的似然和样本,我们还分析了可比较的可计算模型来突显软 / 硬学习和模型查询之间的差异。
Mar, 2024
概率电路(PC)在最近几年中越来越受关注,作为一个灵活的框架,用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而,可处理性是以牺牲表达力为代价的:PC 相较于神经网络来说表达能力较弱。在本文中,我们引入了概率神经电路(PNC),它在可处理性和表达能力方面在 PC 和神经网络之间取得平衡。从理论上讲,我们证明了 PNC 可以被解释为贝叶斯网络的深度混合。实验证明,PNC 是强大的函数逼近器。
Mar, 2024