基于树结构的神经机器翻译解码器
本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN),该模型在树结构解码中结合了序列编码器和句法感知机制,并使用语法结构信息从而能够生成更流畅的翻译结果,同时可以进行成分句法分析。
Sep, 2018
本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型,通过显式地结合源侧语法树,在两种结构化表示(顺序和树)之间进行学习,提出具有树覆盖模型和双向树编码器的翻译模型,并证实优于其他基线模型。
Jul, 2017
本文介绍了一种简单的方法,通过翻译成线性化的、词汇化的组成树来融合有关目标语言的语法信息,实验结果表明,与同一数据集上训练的语法无关的神经机器翻译系统相比,WMT16 德英新闻翻译任务的 BLEU 评分得到了明显提升。对语法感知系统的翻译进行分析后发现,它在翻译过程中进行了更多的重排。小规模人类评估也表明了语法感知系统的优势。
Apr, 2017
本文研究了将基于树的句子编码器中的句法分析树替换成平衡二叉树、左 - 分支树和右 - 分支树等简单树的有效性;结果表明,在没有句法信息的情况下,基于这些简单树的编码器在大多数下游任务中具有竞争力甚至更好的性能,这表明显式的句法指导可能不是基于树的神经句子建模方法表现出色的主要贡献者。
Aug, 2018
本文介绍了三种不同类型的编码器,用于将源句法明确地合并到神经机器翻译 (NMT) 中,并在中英文翻译实验中证明了这三种编码器的有效性,尤其是 Mixed RNN encoder 能有效提升 1.4 BLEU points,同时提供了深入分析来揭示源语法如何有益于 NMT。
May, 2017
本文提出了一种新的端对端句法神经机器翻译模型,在源端短语结构的基础上扩展了序列到序列模型,并引入了注意力机制,可以软对齐短语和源句子中的单词,实验结果表明,相比于序列到序列的注意力 NMT 模型,该模型表现显著提升,在 WAT'15 英日翻译数据集上,与当下最优秀的树到串翻译系统相比可媲美。
Mar, 2016
我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型,利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构,从而训练出在字符级数据集中相当不错的分割和浅层解析表现,接近注意力基准。
Sep, 2017
通过依存句法树到常量句法树的转换,使用递归神经网络语法模型(RNNGs)进行训练,并在多语言环境下进行了实证评估,来探讨在学习模型时哪种树形式最佳,对哪些语言最适用,并通过七种类型的句法测试比较了 9 种转换方法和 5 种语言的语言模型表现,研究结果显示,最佳模型相对于最差模型在所有语言中的精确度提高了 19%,也证明了在多语言环境中注入语法的积极作用。
Apr, 2022
本篇研究探究了使用不同编码器进行神经机器翻译(NMT)时,受监督 parser 预测的语言结构和拥有潜在变量的句子结构在推断神经网络执行机器翻译任务时的优化作用。结果表明,使用 RNN 编码器时,模型几乎不使用结构感知工具;相反,CNN 和基于词嵌入的编码器依赖于潜在的图表达,能够将有用的潜在依赖编码入网络,在某些情况下能够覆盖较长距离的依赖。
Jan, 2019
本文提出了一种基于注意力机制的神经网络机器翻译模型,在源语句的因果关系树中学习一个神经注意力转导模型,并使用句法信息来弥补语料库相对匮乏的问题。实验证明,相比于其他神经翻译模型,该模型在英语 - 德语、英语 - 中文和英语 - 波斯语翻译任务中有优异的表现。
Nov, 2017