提出了一种新颖的多源技术,利用线性化的解析将源语法合并到神经机器翻译中,通过使用单独的编码器将相同源语句的顺序和解析版本相结合,然后使用分层注意机制将结果表示组合,该模型在 WMT17 英德任务上比 seq2seq 和基线解析模型都有超过 1 BLEU 的改进,并且分析表明,与标准解析方法相比,我们的多源语法模型能够成功进行翻译而不需要任何已解析的输入,在长句子上的表现也不如基线模型差。
Aug, 2018
本文提出了一种名为 NMT+RNNG 的混合模型,它将循环神经网络语法与基于注意力的神经机器翻译相结合,通过训练鼓励神经机器翻译模型吸收语言先验知识,并在其后进行自主翻译。4 种语言配对的实验表明该模型非常有效。
Feb, 2017
本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型,通过显式地结合源侧语法树,在两种结构化表示(顺序和树)之间进行学习,提出具有树覆盖模型和双向树编码器的翻译模型,并证实优于其他基线模型。
Jul, 2017
我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型,利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构,从而训练出在字符级数据集中相当不错的分割和浅层解析表现,接近注意力基准。
Sep, 2017
本篇研究探究了使用不同编码器进行神经机器翻译(NMT)时,受监督 parser 预测的语言结构和拥有潜在变量的句子结构在推断神经网络执行机器翻译任务时的优化作用。结果表明,使用 RNN 编码器时,模型几乎不使用结构感知工具;相反,CNN 和基于词嵌入的编码器依赖于潜在的图表达,能够将有用的潜在依赖编码入网络,在某些情况下能够覆盖较长距离的依赖。
Jan, 2019
本文介绍了三种不同类型的编码器,用于将源句法明确地合并到神经机器翻译 (NMT) 中,并在中英文翻译实验中证明了这三种编码器的有效性,尤其是 Mixed RNN encoder 能有效提升 1.4 BLEU points,同时提供了深入分析来揭示源语法如何有益于 NMT。
May, 2017
介绍了生成神经机器翻译(GNMT)的概念,通过添加潜在变量提高翻译模型的语义建模能力,从而实现跨语言翻译,半监督学习以及降低过拟合的效果。
Jun, 2018
本文提出了一种新的端对端句法神经机器翻译模型,在源端短语结构的基础上扩展了序列到序列模型,并引入了注意力机制,可以软对齐短语和源句子中的单词,实验结果表明,相比于序列到序列的注意力 NMT 模型,该模型表现显著提升,在 WAT'15 英日翻译数据集上,与当下最优秀的树到串翻译系统相比可媲美。
Mar, 2016
本论文研究了使用神经机器翻译范式进行问题解析的应用,采用序列到序列模型来学习 SPARQL 图查询语言及其组合中的图形模式。通过模板构建问题和查询之间的对齐情况,探讨半监督学习方法代替问题 - 答案对诱导程序,并且借助自然语言生成的新进展扩展语言表达的覆盖范围。
提出一种新颖的潜变量翻译分类模型,在多语言 NLU 任务中表现优异,实现了迁移学习。
Jul, 2021