结构性概率建模的案例因子图
通过 Markov categories 定义无向图模型上的联合概率密度和样本结果的确定性映射的组合的范畴,这是将概率编程和因果推断中的因子化密度的操作定义与概率测度的范畴描述结合的一步。
May, 2023
我们研究了一个语法归纳问题的正式化,其将句子建模为由复合概率上下文无关文法生成。与传统的学习单一随机文法的方式不同,我们的文法的规则概率由每个句子的连续潜变量调制,这在传统上下文无关假设以外引出了边际依赖性。这种文法的推理通过折叠变分推理实现,在这种方法中,连续变量上放置平化的变分后验,并通过动态规划边际化潜在树。针对英语和中文的实验表明,与最近的最先进方法相比,我们的方法在无监督语法分析评估时非常有效。
Jun, 2019
本文提出了利用一种新标准进行训练贝叶斯决策树的方法,得到的树的分类准确度可与贪婪构造的决策树相媲美或更好,同时树的大小显著减小,并可以在数据集大小的多项式时间内进行后验学习和采样。
Feb, 2023
介绍了一种新的结构形式 md-vtrees 来描述可分解概率电路中的决策概率,并展示了如何将其用于派生多项式时间算法,特别是在因果推理查询中。同时,提出了基于该结构的 MDNets 概率电路架构,并在因果推理中进行了实验验证。
Apr, 2023
本文提出了一种计算隐马尔可夫模型中上下文无关文法概率的算法,解决了计算一类非二义性上下文无关文法概率的问题,并提出了一种可用于多项式绑定的二义性上下文无关文法概率的随机多项式算法。
Jun, 2022
建立概率图模型从观测数据中学习结构时,会发现模型中的随机变量之间存在方向性的循环依赖关系。我们描述了一种概率图模型 - 概率关系网络,它允许直接捕捉结构学习过程中的方向性循环依赖关系。该模型基于一个简单的思想,即观测数据的每个样本都可以通过任意图来表示,这个图反映了样本中包含的变量间的依赖关系结构。我们探索了该模型中的完全联合分布和条件分布以及变量之间的条件独立性质。我们定义了从数据集构建模型和计算条件分布和完全联合分布的算法,并与贝叶斯网络和马尔可夫网络进行了数值比较。该模型不违背概率公理,支持从观测数据中学习,并支持概率推断,因此在数据分析、专家决策和设计应用中具有潜在的用途。
Oct, 2023
本文提出了精确算法和近似算法,以及相应的公式分解和条件概率以及基于模型计数的概率推断方法,并展示了其在实验中的实际有效性,特别是相比于最先进方案,本文提出的算法可以利用公式结构信息大大提高效率。
Mar, 2012
使用张量秩分解技术处理计算复杂度问题,使得能够更有效地对 Hidden Markov Models 和 Probabilistic Context-Free Grammars 进行因子图文法表示和推断。在语言建模和无监督语法分析任务上,相较于之前的方法有更好的表现。
May, 2022
本文提出了一种将概率应用于不完整的数据库中的方法,使用 Markov chain Monte Carlo(MCMC)来恢复不确定性,提供对任意图形模型和关系代数公式的高效查询,并演示了与 materialized view 维护技术之间的联系。
May, 2010
本文介绍了两种最受欢迎的图模型:贝叶斯网络和马尔科夫随机场,并提出了一种新的图模型 —— 因子图。因子图可以将贝叶斯网络和马尔科夫随机场的优点结合起来,并采用单一的消息传递算法进行概率推断。另外,因子图是贝叶斯网络和马尔科夫随机场的严格超集。
Oct, 2012