Apr, 2020

Einsum Networks: 可计算概率电路的快速可扩展学习

PDF
TL;DR本文提出了基于 Einsum Networks 的概率电路模型实现，通过简化 Expectation-Maximization 算法的实现以及在数据集上的应用来提高其可扩展性，并且作为一种忠实的生成图像模型。
发现论文，激发创造
  • 概率神经电路

    概率电路（PC）在最近几年中越来越受关注，作为一个灵活的框架，用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而，可处理性是以牺牲表达力为代价的：PC 相较于神经网络来说表达能力较弱。在本文中，我们引入了概率神经电路（PNC），它在可处理性和表达能力方面在 PC 和神经网络之间取得平衡。从理论上讲，我们证明了 PNC 可以被解释为贝叶斯网络的深度混合。实验证明，PNC 是强大的函数逼近器。

    Mar, 2024

  • 通过修剪和生长来实现稀疏概率电路

    使用剪枝和增长方法，可以大幅提高概率电路的学习性能和模型容量使用效率。

    Nov, 2022

  • 关于概率电路中硬件高效推断的研究

    用于边缘计算应用的概率电路的近似计算框架，通过低分辨率对数计算获得了高能效，实现了高达 357 倍和 649 倍的能源降低率，并且几乎没有计算错误。

    May, 2024

  • 软学习概率电路

    PC 模型是具有范围完全推理能力的显著可计算的概率模型，该论文主要关注用于训练 PC 模型的主要算法 LearnSPN，我们提出了一种名为 SoftLearn 的新的学习过程，通过软聚类过程诱导出一个 PC 模型，实验证明 SoftLearn 在许多情况下优于 LearnSPN，产生更好的似然和样本，我们还分析了可比较的可计算模型来突显软 / 硬学习和模型查询之间的差异。

    Mar, 2024

  • 从概率电路中推导可理解的理论

    本文提出了一种名为 PUTPUT（通过修剪基本逻辑理论进行概率电路理解）的方法，通过计算可理解的、可读的逻辑理论来改进概率电路的可解释性，并应用于一个真实的使用案例，即自动生成音乐播放列表并将其表示为可读（数据库）查询。评估结果表明，该方法能够有效地生成描述概率电路高密度区域的可理解的逻辑理论，并在性能和可理解性权衡方面优于现有方法。

    Nov, 2023

  • 概率电路的人类联合学习的统一框架

    基于概率电路，借助领域知识进行参数学习的新型统一框架，能够有效高效地优化数据驱动学习方法，并在多个基准和真实数据集上取得优异性能。

    May, 2024

  • 概率积分电路

    连续潜变量是许多生成模型的关键部分，我们通过引入概率积分电路（PICs）将概率电路（PCs）扩展为含有连续潜变量的符号计算图，实现了在简单情况下完全可计算的 PICs，并且通过数值积分可用大型 PCs 对 PICs 进行良好逼近，从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或 SGD 学习的 PCs。

    Oct, 2023

  • 概率电路中边缘 MAP 的神经网络逼近器

    近似推理是通过使用神经网络来近似代表大型概率分布，该方法通过在查询变量上使用连续多线性函数来近似赋值的代价，并通过神经网络输出解决方案。本论文通过在多个基准数据集上的评估表明，该方法在求解概率电路中的最大边后验和边后验最大估计任务时优于竞争的线性时间近似方法。

    Feb, 2024

  • 特征电路

    在复杂关系数据中，用概率电路的特点电路模型构建高维概率分布，弥补了复杂数据上的不确定性推理中的局限性，进而提出了特征电路作为一种适用于异构数据的可追溯概率模型。

    Dec, 2023

  • 知道自己不知道的概率电路

    本文研究了概率电路（PCs）的鲁棒性，并发现它们对于 OOD 数据并不鲁棒。为了解决这个问题，我们提出了一种可解释的辍学推理（TDI）方法，并通过一系列实验证明了其提高 PCs 对于分布变化和 OOD 数据的鲁棒性的性能。

    Feb, 2023