EMNLPOct, 2023

具有独立左右生成规则的简单硬件高效 PCFGs

PDF
TL;DR通过低秩参数化规则概率张量，将稠密 PCFG 扩展到数千个非终结符，有助于无监督解析。本文提出了一种简单的 PCFG 形式，独立的左右生成，这种形式比低秩方法更有效地扩展为语言模型和无监督解析器，并且具有更好的性能。同时，我们还提出了一种硬件 IO 感知的内部算法实现，用于高效扩展简单的 PCFG。
dense pcfgslow-rank parameterizationunsupervised parsingsimplepcfgflashinside
发现论文，激发创造
  • 基于排名空间动态规划：利用低秩 HMM 和 PCFG 扩展结构化推断

    使用张量秩分解技术处理计算复杂度问题，使得能够更有效地对 Hidden Markov Models 和 Probabilistic Context-Free Grammars 进行因子图文法表示和推断。在语言建模和无监督语法分析任务上，相较于之前的方法有更好的表现。

    May, 2022

  • 神经双词汇化 PCFG 归纳

    本文提出一种参数化 Neural lexicalized PCFGs 的方法，该方法直接模拟双词依赖性，并同时降低 L-PCFGs 的学习和表达复杂度，实验结果表明该方法提高了解析性能。

    May, 2021

  • 复合 PCFG 的实证研究

    该研究利用快速的复合概率上下文无关文法的实现程序，在评估英语和形态丰富的语言的过程中，发现复合概率上下文无关文法不但数据效率高，而且最大限度利用了全局句子级信息以及预终端符规则概率，但是英语下的最佳配置并不总是适用于形态丰富的语言。

    Mar, 2021

  • PCFGs 能做得更好：用许多符号诱导概率上下文无关文法

    本文介绍了一种基于张量分解的新的概率上下文无关文法参数化形式，其符号数量的计算复杂度最多为二次，适用于大量符号，可以进一步使用神经参数化来改善无监督解析性能。

    Apr, 2021

  • 内部递进语法分析

    本文介绍了内外概率的几种新用途，包括通过匹配解析算法和评估标准来提高解析器准确度，以及在给定准确度水平下加快 PCFG 阈值的速度。同时还提供了一种优雅的、最先进的语法范式和一种解析器描述范式，使计算内外概率和其他公式变得更容易。

    May, 1998

  • 使用轻微上下文敏感文法进行非监督式不连续成分句法分析

    研究语法诱导，使用线性无上下文重写系统进行无监督不连续解析，将文法形式限制为二元 LFCRS 并使用张量分解与参数化规则概率得到大量非终端符号，从而能够诱导出具有连续和不连续结构的语言学意义的树。

    Dec, 2022

  • 带有深度限制的 PCFG 无监督语法归纳

    本篇研究将深度限制的方法应用于概率无上下文语法归纳，并在语法获取方面取得了出色的结果，并且从该模型中获得的语法证明了对类别标签的一致使用。

    Feb, 2018

  • 结构化模型中的低秩约束用于快速推理

    本文提出一种简单的方法，通过将中心推理步骤视为矩阵向量积并使用低秩约束，以降低大类结构模型的计算和内存复杂度。使用神经参数化结构模型进行语言建模，多声部音乐建模，无监督语法归纳和视频建模的实验表明，我们的方法与大型状态空间的标准模型具有相同的准确性，同时提供了实际的加速。

    Jan, 2022

  • 自然语言解析中的光谱学习多样性

    本文以 L-PCFGs 谱学习方法为基础，创建多种不同预测模型，添加噪声以及进行多模型演示，并尝试提高自然语言解析的性能，取得了明显提升。其中，英文的 F1 值为 90.18，德文的 F1 值为 83.38。

    May, 2015

  • 在上下文无关文法约束下的隐藏马尔可夫模型中的边际推理查询

    本文提出了一种计算隐马尔可夫模型中上下文无关文法概率的算法，解决了计算一类非二义性上下文无关文法概率的问题，并提出了一种可用于多项式绑定的二义性上下文无关文法概率的随机多项式算法。

    Jun, 2022