本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现,并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征(AMR)分析任务的效果特别明显,尤其是在较小的模型或有限的训练数据下。
Oct, 2020
本文提出了使用基于转移的神经网络联合进行词性标注和依存分析的方法,实现了标签冲突、移位 / 归约冲突和标记冲突的解决。实验表明,我们的方法在各种自然语言的联合词性标注和依存分析方面明显优于之前的方法。
Apr, 2017
通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平,我们提出了一种基于指针网络的转移系统,可以直接生成标记有方向无环图并实现语义依赖分析。同时,我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型,而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。
May, 2020
通过对十三种语言的依存句法分析实验进行误差分析,本文表明基于转移和基于图的依存句法分析器具有互补的优缺点,深层上下文词嵌入有利于转移依存句法分析器更好地利用其准确的局部决策,使得这两种方法在精度和误差概要方面几乎等效。
Aug, 2019
本研究提出了一种新型的神经网络模型,该模型可以同时学习 POS 标记和基于图的依赖解析。该模型使用双向 LSTM 来学习两个任务共享的特征表示,从而解决了特征工程问题。该模型在 19 种语言的通用依赖关系项目上进行了广泛的实验,结果表明我们的模型优于基于神经网络的最新关于 POS 标记和基于转移的依赖解析的程序,从而取得了新的最优性能。
May, 2017
本文介绍了基于图形的 Tree Adjoining Grammar (TAG) 解析器,并使用 BiLSTMs、Highway 连接和字符级 CNNs 来实现,该解析器在全局推理和特征表示方面具有先进性,在短语结构随从词性标注和解析方面性能显著优于以往的结果,并且在解析评估和无界依赖恢复方面实现了最先进的性能。
Apr, 2018
本研究通过对搜索感知训练的扩展,实现对全局标准化经常序列模型的训练,并在 CCG supertagging 和机器翻译任务中证明了全局标准化在不同条件下的重要性。
Apr, 2019
通过迭代式搜索及全局归一化决策的神经网络,提出了可提取答案的问答系统并进行了数据增强及实验优化。
Sep, 2017
本文研究了两种概念简单的本地神经模型,在成分分析中取得了高度竞争的结果,分别实现了 PTB 和 CTB5.1 中的标记支架 F1 得分为 92.4%和 87.3%。
Aug, 2018
通过结构化感知机训练和使用大量自动解析的句子来学习神经网络表示,我们的解析器在 Penn Treebank 数据集上达到了 94.26%的未标记和 92.41%的标记附加精度,是迄今为止在 Stanford Dependencies 上最佳的精度,并提供深入的剖析分析以确定模型的哪些方面提供了最大的准确性增益。
Jun, 2015