概率电路的人类联合学习的统一框架
概率电路(PC)在最近几年中越来越受关注,作为一个灵活的框架,用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而,可处理性是以牺牲表达力为代价的:PC 相较于神经网络来说表达能力较弱。在本文中,我们引入了概率神经电路(PNC),它在可处理性和表达能力方面在 PC 和神经网络之间取得平衡。从理论上讲,我们证明了 PNC 可以被解释为贝叶斯网络的深度混合。实验证明,PNC 是强大的函数逼近器。
Mar, 2024
本文提出了一种名为 PUTPUT(通过修剪基本逻辑理论进行概率电路理解)的方法,通过计算可理解的、可读的逻辑理论来改进概率电路的可解释性,并应用于一个真实的使用案例,即自动生成音乐播放列表并将其表示为可读(数据库)查询。评估结果表明,该方法能够有效地生成描述概率电路高密度区域的可理解的逻辑理论,并在性能和可理解性权衡方面优于现有方法。
Nov, 2023
本文研究了概率电路(PCs)的鲁棒性,并发现它们对于 OOD 数据并不鲁棒。为了解决这个问题,我们提出了一种可解释的辍学推理(TDI)方法,并通过一系列实验证明了其提高 PCs 对于分布变化和 OOD 数据的鲁棒性的性能。
Feb, 2023
该研究通过将概率命题逻辑约束集成到概率电路所编码的分布中,提出了一种有效的方法来改善模型在数据稀缺或不完整情况下的性能,并在不损害模型适应性的同时,将机器学习公平性度量应用到模型中。
Mar, 2024
PC 模型是具有范围完全推理能力的显著可计算的概率模型,该论文主要关注用于训练 PC 模型的主要算法 LearnSPN,我们提出了一种名为 SoftLearn 的新的学习过程,通过软聚类过程诱导出一个 PC 模型,实验证明 SoftLearn 在许多情况下优于 LearnSPN,产生更好的似然和样本,我们还分析了可比较的可计算模型来突显软 / 硬学习和模型查询之间的差异。
Mar, 2024
在可计算的概率生成建模领域中,我们提出了一项综合调查,重点关注概率电路(Probabilistic Circuits)。我们对表现力和可计算性之间的固有权衡提供了统一的观点,并突出了构建具有表现力和高效性的概率电路的设计原则和算法扩展,同时提供了一个领域分类。我们还讨论了最近通过融合深度神经模型的概念来构建深层和混合概率电路的努力,并概述了可能指导未来研究的挑战和开放问题。
Feb, 2024
本文提出了基于 Einsum Networks 的概率电路模型实现,通过简化 Expectation-Maximization 算法的实现以及在数据集上的应用来提高其可扩展性,并且作为一种忠实的生成图像模型。
Apr, 2020