转移和图形依存关系分析中的深度语境化词嵌入－重访两种解析器的故事

EMNLPAug, 2019

转移和图形依存关系分析中的深度语境化词嵌入－重访两种解析器的故事

Deep Contextualized Word Embeddings in Transition-Based and Graph-Based Dependency Parsing -- A Tale of Two Parsers Revisited

PDF

Artur Kulmizev, Miryam de Lhoneux, Johannes Gontrum, Elena Fano, Joakim Nivre

TL;DR通过对十三种语言的依存句法分析实验进行误差分析，本文表明基于转移和基于图的依存句法分析器具有互补的优缺点，深层上下文词嵌入有利于转移依存句法分析器更好地利用其准确的局部决策，使得这两种方法在精度和误差概要方面几乎等效。

Abstract

Transition-based and graph-based dependency parsers have previously been shown to have complementary strengths and weaknesses: transition-based parsers exploit rich structural features but suffer from error propagation, while graph-based parsers benefit from global optimization but have restricted feature scope. In this paper, we show that, even though some

dependency parsing transition-based parser graph-based parser neural networks contextualized word embeddings

发现论文，激发创造

基于指针网络的基于转换的语义依存句法分析

通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平，我们提出了一种基于指针网络的转移系统，可以直接生成标记有方向无环图并实现语义依赖分析。同时，我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型，而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。

May, 2020

利用上下文嵌入的基于转移的抽象含义表示解析

该论文提出了一种名为 AmrBerger 的新的语义分析器，它探索了预训练上下文感知的单词嵌入在 AMR 分析中的可用性，并发现这些丰富的词汇特征与额外的概念信息的结合可以提高系统的性能。同时，通过分析，也展现了上下文嵌入的优点和局限，这为进一步深入理解提供了启示。

Jun, 2022

基于堆栈变换器的转移句法分析

本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

Oct, 2020

全局归一化的转移依存神经网络

本文介绍了一种全局归一化过渡式神经网络模型，其实现了最新的词性标注、依存分析和句子压缩结果，并探讨了全局与局部归一化的重要性。

Mar, 2016

全局贪心依存句法分析

本文提出了一种能够同时进行全局特征提取和线性时间推理的依存句法分析模型，支持投影和非投影句子的解析，经检验表现良好。

Nov, 2019

基于 BiLSTM 的依存分析器结构特征的非实用性

本文比较了传统的非神经依存解析器和基于 BiLSTM 模型的依存解析器的结构特征，讨论了其决策过程中的隐含信息来源，并通过模型实验表明，结构上下文对模型有着显著的影响。

May, 2019

神经成分句法分析的两种本地化模型

本文研究了两种概念简单的本地神经模型，在成分分析中取得了高度竞争的结果，分别实现了 PTB 和 CTB5.1 中的标记支架 F1 得分为 92.4％和 87.3％。

Aug, 2018

使用双向 LSTM 特征表示进行简单准确的依存句法分析

使用双向 LSTM 神经网络构建特征向量，在依存句法分析中实现最新的结果。

Mar, 2016

神经变分转移句法分析中的依赖语法归纳

本研究提出了一种基于神经网络的转移句法解析器，利用变分推断、后验正则化和方差减小技术训练模型，实现了无监督依赖语法归纳并在英语 Penn Treebank 和 Universal Dependency Treebank 上取得了可以与基于图的模型相媲美的表现，并且在实验比较中显示出比基于图的模型更快的解析速度。

Nov, 2018

使用双向 LSTM 进行最小特征的增量分析

本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

Jun, 2016