编码器解码器移位归约句法分析
本文针对移位 - 归约分析的相对弱点,利用双向 LSTM 模型提取向前追望特征,并将结果传递给强大的过渡性成分分析器,提高了 1.3% 在 WSJ 和 2.3% 在 CTB 中的准确性。
Dec, 2016
本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型,通过显式地结合源侧语法树,在两种结构化表示(顺序和树)之间进行学习,提出具有树覆盖模型和双向树编码器的翻译模型,并证实优于其他基线模型。
Jul, 2017
通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平,我们提出了一种基于指针网络的转移系统,可以直接生成标记有方向无环图并实现语义依赖分析。同时,我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型,而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。
May, 2020
本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN),该模型在树结构解码中结合了序列编码器和句法感知机制,并使用语法结构信息从而能够生成更流畅的翻译结果,同时可以进行成分句法分析。
Sep, 2018
该研究提出了一个基于神经编码器 - 解码器的转移句法分析器,可以作为关于最小递归语义的完全覆盖的语义图分析器,预测图与非词汇化谓词及其标记对齐共同。该分析器比注意力模型基准更准确,并且在 GPU 批处理方面比高精度基于语法的分析器快一个数量级。此外,我们的最小递归语义分析器的 86.69% Smatch 得分高于 AMR 分析的上限,这使得 MRS 成为有吸引力的语义表示选择。
Apr, 2017
该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力,并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明,基于现代架构的全面增量解析远远落后于双向解析,并注意到语言学上合理解析的挑战。
Sep, 2023
提出了一种基于转换的方法,通过训练单个模型,可以有效地解析任何输入句子,支持连续 / 投影和不连续 / 非投影的句法结构,并证明了这两种句法形式可以在训练过程中互相受益,提高了在多个基准测试中的准确性,如英语和中文 Penn 树库以及德语 NEGRA 和 TIGER 数据集。
Sep, 2020
这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中,以实现机器翻译。文中使用了预测的源句子句法依赖树,用于生成敏感于句法周边的单词表示,以达到最佳效果。研究的实验结果表明,在英德翻译和英捷翻译方面的所有设置中,与其不考虑语法结构的版本相比,该方法均有显著的改善。
Apr, 2017
该论文探究了加入不同语言结构对神经机器翻译性能的影响,提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型,并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升,能够超过标准的 seq2seq 模型和其他引入目标端语法的方法,提高 2.1 个 BLEU 分数。
Aug, 2018