一个用于依存图解析的半自回归图生成模型
通过深度神经网络处理输入进一步编码为潜在变量,包括在序列中使用连续潜在变量对输入进行编码的局部自编码分析器(LAP)和在依存树中使用依赖树作为潜在变量对输入进行编码的全局自编码分析器(GAP),使用统一结构和不同的损失函数处理有标记和无标记的数据,并在 WSJ 和 UD 依存解析数据集上进行实验,展示模型能够利用未标记的数据来提高性能,并超越以前提出的半监督模型。
Nov, 2020
本文提出了一种基于递归非自回归图到图变换器 (RNGTr) 的架构,用于任意图的迭代细化,通过应用非自回归图到图变换器的递归应用,并将其应用于句法依赖解析上。我们使用使用 BERT 预训练的细化模型展示了 RNGTr 的强大和有效性。我们还介绍了一款类似于我们优化模型的非递归解析器 Syntactic Transformer (SynTr)。RNGTr 可以提高 13 种语言的各种初始解析器的准确性,包括 Universal Dependencies Treebanks,英语和中文 Penn Treebanks,以及德语 CoNLL2009 语料库,并且在所有测试数据上显著超越了最新的最优结果的表现。
Mar, 2020
本研究提出了一种基于非自回归模型和卷积神经网络的有效序列到序列模型,以预测语义分析树,实现了较传统循环神经网络模型更高的时延优化和参数规模缩减,并在三个不同的语义分析数据集上表现出竞争性能力。
Apr, 2021
为了改善句法解析器,我们提出了一种新的潜变量生成模型,可以使用大量的未标记文本来进行半监督学习,并通过可微的动态规划来提高解析器的准确性。
Jul, 2018
本文提出一种新的 O (n^3) 依赖语法分析算法,并开发了三种不同的随机化方式。我们提出了词汇亲和模型、意义标注模型和生成模型。通过在训练文本上评估三种模型的分析性能并给出了初步的实证结果,其中生成模型在分析性能上表现显著优于其他模型,并且在词性标注方面表现同样出色。
Jun, 1997
我们提出了一种新的无监督神经依赖模型的二阶扩展,它可以包含祖父 - 子或兄弟信息,并使用基于一致性的学习框架联合训练一二阶无词汇化模型和一阶词汇化模型,实验表明我们的二阶模型在多个数据集上的效果优于最近的最先进方法,并且我们的联合模型在完整的 WSJ 测试集上取得了 10% 的改进。
Oct, 2020
本文提出了基于依赖图的 QDMR 解析器,通过提出非自回归图解析器和使用金标准图作为辅助监督的 seq2seq 解析器,实现了推理速度的 16 倍提升和对新域的更好泛化能力。
Apr, 2021
本研究提出了一种基于 CRF 自编码器的无监督依赖分析模型,其中编码器部分是辨别式的和全局归一化的,能够使用丰富的特征和通用语言先验,并提出了一种精确算法用于分析以及一种易于处理的学习算法,通过在八个多语言树库上进行模型性能的评估,发现我们的模型取得了与最先进方法相当的性能。
Aug, 2017