ACLMay, 2022

基于排名空间动态规划：利用低秩 HMM 和 PCFG 扩展结构化推断

PDF
TL;DR使用张量秩分解技术处理计算复杂度问题，使得能够更有效地对 Hidden Markov Models 和 Probabilistic Context-Free Grammars 进行因子图文法表示和推断。在语言建模和无监督语法分析任务上，相较于之前的方法有更好的表现。
hidden markov modelsprobabilistic context-free grammarsfactor graph grammarstensor rank decompositioninference
发现论文，激发创造
  • 结构化模型中的低秩约束用于快速推理

    本文提出一种简单的方法，通过将中心推理步骤视为矩阵向量积并使用低秩约束，以降低大类结构模型的计算和内存复杂度。使用神经参数化结构模型进行语言建模，多声部音乐建模，无监督语法归纳和视频建模的实验表明，我们的方法与大型状态空间的标准模型具有相同的准确性，同时提供了实际的加速。

    Jan, 2022

  • 具有独立左右生成规则的简单硬件高效 PCFGs

    通过低秩参数化规则概率张量，将稠密 PCFG 扩展到数千个非终结符，有助于无监督解析。本文提出了一种简单的 PCFG 形式，独立的左右生成，这种形式比低秩方法更有效地扩展为语言模型和无监督解析器，并且具有更好的性能。同时，我们还提出了一种硬件 IO 感知的内部算法实现，用于高效扩展简单的 PCFG。

    Oct, 2023

  • 在上下文无关文法约束下的隐藏马尔可夫模型中的边际推理查询

    本文提出了一种计算隐马尔可夫模型中上下文无关文法概率的算法，解决了计算一类非二义性上下文无关文法概率的问题，并提出了一种可用于多项式绑定的二义性上下文无关文法概率的随机多项式算法。

    Jun, 2022

  • 利用复合性探索模型结构的广阔空间

    通过生成上下文无关文法来组织矩阵分解模型以进行模型选择，使用小型可重用算法估计预测似然和推断潜在组件，通过贪心搜索自动选择分解结构。

    Oct, 2012

  • PCFGs 能做得更好：用许多符号诱导概率上下文无关文法

    本文介绍了一种基于张量分解的新的概率上下文无关文法参数化形式，其符号数量的计算复杂度最多为二次，适用于大量符号，可以进一步使用神经参数化来改善无监督解析性能。

    Apr, 2021

  • 带有深度限制的 PCFG 无监督语法归纳

    本篇研究将深度限制的方法应用于概率无上下文语法归纳，并在语法获取方面取得了出色的结果，并且从该模型中获得的语法证明了对类别标签的一致使用。

    Feb, 2018

  • 复合 PCFG 的实证研究

    该研究利用快速的复合概率上下文无关文法的实现程序，在评估英语和形态丰富的语言的过程中，发现复合概率上下文无关文法不但数据效率高，而且最大限度利用了全局句子级信息以及预终端符规则概率，但是英语下的最佳配置并不总是适用于形态丰富的语言。

    Mar, 2021

  • 降秩隐马尔可夫模型

    本研究介绍了一种名为 Reduced-Rank Hidden Markov Model 的模型，它是隐马尔可夫模型和线性动态系统的一般化，可被广泛应用于多变量连续型数据的建模和机器视觉模型问题。同时，我们提出一种基于谱方法的算法，可以用于学习这个模型，达到了高准确性和高效率的模拟和预测效果。

    Oct, 2009

  • 缩放隐马尔可夫语言模型

    本研究重新探讨使用最新的神经模型方法实现隐藏马尔可夫模型（HMM）规模化的挑战，提出了一种方法来快速有效地在大规模状态空间中对 HMM 进行精确推断、紧凑参数化以及有效规范化，取得的实验证明，该方法比之前的 HMM 和 n-gram 方法更准确，为实现最先进的神经模型的性能作出了贡献。

    Nov, 2020

  • 铰链损失马尔可夫随机场：结构化预测的凸推理

    本文介绍了使用 hinge-loss Markov 随机场图模型进行结构化预测的方法，包括适用于 HL-MRFs 的可扩展的推理算法和几种学习算法，并证明了该方法在四个应用领域中能够与离散模型相媲美或更好的预测性能。

    Sep, 2013