ACLJul, 2020

词汇依赖关系的回归：神经词汇化 PCFGs

PDF
TL;DR本文演示了基于上下文无关文法（CFG）的语法归纳方法从建模词法依赖方面受益，这与当前最流行的语法归纳方法形成对比，后者专注于发现要么为构件，要么为依存关系；本研究的神经模型克服了稀疏性问题，有效地在单个模型中诱导了构件和依存关系的统一框架；实验证明，与单独建模形式主义相比，该统一框架对于两种表示都有更强的结果。
cfggrammar inductionlexical dependenciesneural modelsunsupervised learning
发现论文，激发创造
  • 神经双词汇化 PCFG 归纳

    本文提出一种参数化 Neural lexicalized PCFGs 的方法，该方法直接模拟双词依赖性，并同时降低 L-PCFGs 的学习和表达复杂度，实验结果表明该方法提高了解析性能。

    May, 2021

  • PCFGs 能做得更好：用许多符号诱导概率上下文无关文法

    本文介绍了一种基于张量分解的新的概率上下文无关文法参数化形式，其符号数量的计算复杂度最多为二次，适用于大量符号，可以进一步使用神经参数化来改善无监督解析性能。

    Apr, 2021

  • 有限上下文对成分句法分析的限制

    本文探讨了当前神经语法学习方法对句法结构的表征方式，以及限制神经语法学习方法的表征能力的主要因素，并利用概率上下文无关文法为基础，说明上下文对神经语法学习方法进行语法分析决策时的关键作用。

    Jun, 2021

  • 复合概率上下文无关文法用于文法归纳

    我们研究了一个语法归纳问题的正式化，其将句子建模为由复合概率上下文无关文法生成。与传统的学习单一随机文法的方式不同，我们的文法的规则概率由每个句子的连续潜变量调制，这在传统上下文无关假设以外引出了边际依赖性。这种文法的推理通过折叠变分推理实现，在这种方法中，连续变量上放置平化的变分后验，并通过动态规划边际化潜在树。针对英语和中文的实验表明，与最近的最先进方法相比，我们的方法在无监督语法分析评估时非常有效。

    Jun, 2019

  • 语言模型的物理学：第 1 部分，无上下文语法

    本研究设计实验以探究生成式语言模型如何学习上下文无关文法，并发现了 Transformer 如何利用物理机制隐式地编码文法结构、形成类动态规划的 attention，并在处理语法错误时表现出的鲁棒性方面的相关拓展。

    May, 2023

  • 带有深度限制的 PCFG 无监督语法归纳

    本篇研究将深度限制的方法应用于概率无上下文语法归纳，并在语法获取方面取得了出色的结果，并且从该模型中获得的语法证明了对类别标签的一致使用。

    Feb, 2018

  • 具有头部词汇的 PCFG 进行情感诱导

    该研究采用词汇化的概率上下文无关文法和改进的 EM 算法从 5,000 万个单词的文本语料库中学习词汇，评估结果表明该模型可以准确地产生框架分布。

    May, 1998

  • ALP: 使用带词汇的 PCFG 进行数据增强，用于少样本文本分类

    使用词汇化的概率上下文无关语法 (ALP) 的数据增强技术可以生成具有合理语法的各种语法结构样本，该方法不需要特定的领域专家来处理依赖性和成分，当该数据扩充方法与增量的训练和验证集拆分策略同时发挥作用，可以获得用于小样本文本分类任务的强大的训练策略。

    Dec, 2021

  • 复合 PCFG 的实证研究

    该研究利用快速的复合概率上下文无关文法的实现程序，在评估英语和形态丰富的语言的过程中，发现复合概率上下文无关文法不但数据效率高，而且最大限度利用了全局句子级信息以及预终端符规则概率，但是英语下的最佳配置并不总是适用于形态丰富的语言。

    Mar, 2021

  • 使用 CCG 分析和大型语言模型建模大脑中的结构构建

    通过使用组合范畴语法（CCG）作为语法模型，研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号，研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法，并可以从可选附加语方面解释。

    Oct, 2022