神经变分转移句法分析中的依赖语法归纳

AAAINov, 2018

神经变分转移句法分析中的依赖语法归纳

Dependency Grammar Induction with a Neural Variational Transition-based Parser

Bowen Li, Jianpeng Cheng, Yang Liu, Frank Keller

TL;DR本研究提出了一种基于神经网络的转移句法解析器，利用变分推断、后验正则化和方差减小技术训练模型，实现了无监督依赖语法归纳并在英语 Penn Treebank 和 Universal Dependency Treebank 上取得了可以与基于图的模型相媲美的表现，并且在实验比较中显示出比基于图的模型更快的解析速度。

Abstract

dependency grammar induction is the task of learning dependency syntax without annotated training data. Traditional graph-based models with global inference achieve state-of-the-art results on this task but they require $O(n^3)$ run time. Transition-based models enable faster inference

dependency grammar induction neural transition-based parser unsupervised learning variational inference parsing speed

发现论文，激发创造

基于指针网络的基于转换的语义依存句法分析

通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平，我们提出了一种基于指针网络的转移系统，可以直接生成标记有方向无环图并实现语义依赖分析。同时，我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型，而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。

May, 2020

全局贪心依存句法分析

本文提出了一种能够同时进行全局特征提取和线性时间推理的依存句法分析模型，支持投影和非投影句子的解析，经检验表现良好。

Nov, 2019

一种用于正则文法归纳的神经模型

我们提出了一种新颖的神经方法来归纳正则语法，我们的模型具有可解释性，可用于学习任意正则语法，并在各种复杂性的测试中始终达到高的召回率和精度得分。

Sep, 2022

转移和图形依存关系分析中的深度语境化词嵌入－重访两种解析器的故事

通过对十三种语言的依存句法分析实验进行误差分析，本文表明基于转移和基于图的依存句法分析器具有互补的优缺点，深层上下文词嵌入有利于转移依存句法分析器更好地利用其准确的局部决策，使得这两种方法在精度和误差概要方面几乎等效。

Aug, 2019

二阶无监督神经依存句法分析

我们提出了一种新的无监督神经依赖模型的二阶扩展，它可以包含祖父 - 子或兄弟信息，并使用基于一致性的学习框架联合训练一二阶无词汇化模型和一阶词汇化模型，实验表明我们的二阶模型在多个数据集上的效果优于最近的最先进方法，并且我们的联合模型在完整的 WSJ 测试集上取得了 10% 的改进。

Oct, 2020

神经网络基于转移的结构化训练解析

通过结构化感知机训练和使用大量自动解析的句子来学习神经网络表示，我们的解析器在 Penn Treebank 数据集上达到了 94.26％的未标记和 92.41％的标记附加精度，是迄今为止在 Stanford Dependencies 上最佳的精度，并提供深入的剖析分析以确定模型的哪些方面提供了最大的准确性增益。

Jun, 2015

复合概率上下文无关文法用于文法归纳

我们研究了一个语法归纳问题的正式化，其将句子建模为由复合概率上下文无关文法生成。与传统的学习单一随机文法的方式不同，我们的文法的规则概率由每个句子的连续潜变量调制，这在传统上下文无关假设以外引出了边际依赖性。这种文法的推理通过折叠变分推理实现，在这种方法中，连续变量上放置平化的变分后验，并通过动态规划边际化潜在树。针对英语和中文的实验表明，与最近的最先进方法相比，我们的方法在无监督语法分析评估时非常有效。

Jun, 2019

一个高阶语义依存解析器

本研究应用图神经网络（GNN）构建更高阶语义依存解析器，通过多个 GNN 层的聚合获得更高阶信息，实现近似推理，实现在 SemEval 2015 任务 18 英语数据集上超越先前最先进的解析器。

Jan, 2022

神经语言模型语法归纳：一次不寻常的复制实验

该研究针对最近基于潜在树学习的神经网络模型探索，探索在非解析任务下使用解析值潜变量训练模型，用于发现可解释的树形结构，并成功在语言建模和成分句法分析领域展示了潜在树学习的实用性。

Aug, 2018

全局归一化的转移依存神经网络

本文介绍了一种全局归一化过渡式神经网络模型，其实现了最新的词性标注、依存分析和句子压缩结果，并探讨了全局与局部归一化的重要性。

Mar, 2016