一种快速的句法分析和句子理解统一模型
本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks(PRPN),利用其特定的神经网络结构能够自动识别未标注的句子的句法结构,并利用它来学习更好的语言模型。实验证明,该模型能够发现底层的句法结构,并在单词 / 字符水平的语言模型任务上取得了最先进水平。
Nov, 2017
提出了一种基于转换的方法,通过训练单个模型,可以有效地解析任何输入句子,支持连续 / 投影和不连续 / 非投影的句法结构,并证明了这两种句法形式可以在训练过程中互相受益,提高了在多个基准测试中的准确性,如英语和中文 Penn 树库以及德语 NEGRA 和 TIGER 数据集。
Sep, 2020
该研究提出了两个快速神经组合模型,用于句法分析,分别是二元模型和多分支模型,它们的理论复杂度是次二次的,实际复杂度较低,其中二元模型在 Penn Treebank 上取得了 92.54 的 F1 分数,并以 1327.2 个句子 / 秒的速度进行解析。同时,该模型结合 XLNet,准确率接近英文句法分析的最新水平,并能够观察到 Penn Treebank、Chinese Treebank 和 Keyaki Treebank(日本)在训练和推理过程中的句法倾向和头向性。
Jun, 2021
本文提出了一种基于序列到序列模型和指针生成网络的统一架构,旨在处理既能识别简单 Action 单一的查询,也能处理更复杂的分段实体的查询,并在 ATIS、SNIPS 和 Facebook TOP 数据集上取得了最先进的准确率,不需要对语义分析模式加任何限制。
Jan, 2020
本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN),该模型在树结构解码中结合了序列编码器和句法感知机制,并使用语法结构信息从而能够生成更流畅的翻译结果,同时可以进行成分句法分析。
Sep, 2018
本文介绍了一种神经语义解析器,可以将自然语言表达式映射到逻辑形式,以在特定任务环境中执行,如知识库或数据库,生成响应。解析器使用基于转换的方法生成具有树形结构的逻辑形式,结合由逻辑语言定义的通用树生成算法和领域一般性操作。解析器的生成过程由结构化循环神经网络建模,提供句子上下文和生成历史的丰富编码,以进行预测。为了解决自然语言和逻辑形式标记之间的不匹配,探讨了各种注意机制。最后,我们考虑了神经语义解析器的不同训练设置,包括全监督训练、弱监督训练和远程监督训练。对各种数据集的实验表明了我们解析器的有效性。
Nov, 2017
本研究提出了 SpanBasedSP,这是一种基于跨度的解析器,用于语义分析,并且能够更好地进行组合概括。SpanBasedSP 在几个数据集上进行测试,表现出与强 seq2seq 基线相当的效果,并且在需要进行组合概括的情况下,与基线相比有显著的性能优势。
Sep, 2020
通过结构化感知机训练和使用大量自动解析的句子来学习神经网络表示,我们的解析器在 Penn Treebank 数据集上达到了 94.26%的未标记和 92.41%的标记附加精度,是迄今为止在 Stanford Dependencies 上最佳的精度,并提供深入的剖析分析以确定模型的哪些方面提供了最大的准确性增益。
Jun, 2015
该研究提出了一个基于神经编码器 - 解码器的转移句法分析器,可以作为关于最小递归语义的完全覆盖的语义图分析器,预测图与非词汇化谓词及其标记对齐共同。该分析器比注意力模型基准更准确,并且在 GPU 批处理方面比高精度基于语法的分析器快一个数量级。此外,我们的最小递归语义分析器的 86.69% Smatch 得分高于 AMR 分析的上限,这使得 MRS 成为有吸引力的语义表示选择。
Apr, 2017
该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM,用于学习过渡式依赖解析器的解析状态,将其应用于解析模型中,实现了解析器状态的三个方面,提高了解析性能。
May, 2015