可操作电路实现因果推断
介绍了一种新的结构形式 md-vtrees 来描述可分解概率电路中的决策概率,并展示了如何将其用于派生多项式时间算法,特别是在因果推理查询中。同时,提出了基于该结构的 MDNets 概率电路架构,并在因果推理中进行了实验验证。
Apr, 2023
概率电路、多线性多项式、边缘推断、多项式语义和二元分布是该研究论文的五个关键词,论文证明了对于二元分布来说,这些概率电路模型在一定意义上等价,而且研究了一个称为概率生成电路的多项式语义在分类随机变量上的自然扩展,结果证明边缘推断变得 #P 难。
Feb, 2024
本文提出了一种名为 PUTPUT(通过修剪基本逻辑理论进行概率电路理解)的方法,通过计算可理解的、可读的逻辑理论来改进概率电路的可解释性,并应用于一个真实的使用案例,即自动生成音乐播放列表并将其表示为可读(数据库)查询。评估结果表明,该方法能够有效地生成描述概率电路高密度区域的可理解的逻辑理论,并在性能和可理解性权衡方面优于现有方法。
Nov, 2023
本文研究图形单元中结构的限制及其与推理难度之间的关系,发现较低的树宽是确保推理可行性的唯一结构限制,即使是最优情况下的图结构,也不存在多项式时间复杂度的推理算法。
Jun, 2012
本文提供了一种形式基础,可以在其中比较 AC 的变体,从而使它们的各种属性的作用和语义更加透明。本文还为 AC 提供了新的结果,包括具有和没有确定性的 AC 之间的指数分离;完备性和不完备性结果;以及计算最可能的解释时 (MPEs) 的可处理性结果(或缺乏处理性结果)。
Aug, 2017
本文介绍了一种名为 TRUST 的框架,利用概率电路表示后验信念,通过推理查询可以更好地捕捉有向无环图(DAG)的空间,进而提高结构推断质量和后验不确定性,并在条件查询中展现了 TRUST 的实际效用。
Apr, 2022
通过在代价函数中加入推理代价的惩罚项,我们提出了使用算术电路进行学习的方法来构建可计算的、具有背景依赖独立性的贝叶斯网络,实验表明我们的算法能够在极短的时间内学习出大量具有可追溯的模型和比标准贝叶斯网络更准确的预测。
Jun, 2012
神经网络模型在各种复杂任务上取得了高性能,但它们所实现的算法往往难以解释。我们提出了一种新的分析技术 —— 电路探测,通过自动发现计算假定的中间变量的低层电路,实现了对模型参数级别的有针对性的切割,从而开展因果分析。我们对简单算术任务上的模型应用了这种方法,证明了它在(1)解密模型所学习的算法,(2)揭示模型内部结构以及(3)追踪电路在训练过程中的发展方面的有效性。我们将电路探测与其他方法在这三个实验中进行比较,发现它在效果上与现有的分析方法相当甚至更加有效。最后,我们在一个真实的应用案例中演示了电路探测的应用,发现了在 GPT2-Small 和 Medium 模型中负责主谓一致和反身指代的电路。
Nov, 2023