Nov, 2017

使用 Forest-to-Sequence 模型在神经机器翻译中考虑句法不确定性

PDF
TL;DR本文提出了一种基于注意力机制的神经网络机器翻译模型，在源语句的因果关系树中学习一个神经注意力转导模型，并使用句法信息来弥补语料库相对匮乏的问题。实验证明，相比于其他神经翻译模型，该模型在英语 - 德语、英语 - 中文和英语 - 波斯语翻译任务中有优异的表现。
neural machine translationsyntactic informationattentional neural machine translationparser errorstransduction model
发现论文，激发创造
  • 树到序列的注意力神经机器翻译

    本文提出了一种新的端对端句法神经机器翻译模型，在源端短语结构的基础上扩展了序列到序列模型，并引入了注意力机制，可以软对齐短语和源句子中的单词，实验结果表明，相比于序列到序列的注意力 NMT 模型，该模型表现显著提升，在 WAT'15 英日翻译数据集上，与当下最优秀的树到串翻译系统相比可媲美。

    Mar, 2016

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017

  • 基于字符串到树的神经机器翻译方法

    本文介绍了一种简单的方法，通过翻译成线性化的、词汇化的组成树来融合有关目标语言的语法信息，实验结果表明，与同一数据集上训练的语法无关的神经机器翻译系统相比，WMT16 德英新闻翻译任务的 BLEU 评分得到了明显提升。对语法感知系统的翻译进行分析后发现，它在翻译过程中进行了更多的重排。小规模人类评估也表明了语法感知系统的优势。

    Apr, 2017

  • 基于自顶向下树形解码与句法连接的神经机器翻译与句法分析

    本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN)，该模型在树结构解码中结合了序列编码器和句法感知机制，并使用语法结构信息从而能够生成更流畅的翻译结果，同时可以进行成分句法分析。

    Sep, 2018

  • 多源句法神经机器翻译

    提出了一种新颖的多源技术，利用线性化的解析将源语法合并到神经机器翻译中，通过使用单独的编码器将相同源语句的顺序和解析版本相结合，然后使用分层注意机制将结果表示组合，该模型在 WMT17 英德任务上比 seq2seq 和基线解析模型都有超过 1 BLEU 的改进，并且分析表明，与标准解析方法相比，我们的多源语法模型能够成功进行翻译而不需要任何已解析的输入，在长句子上的表现也不如基线模型差。

    Aug, 2018

  • 神经机器翻译中的源语法建模

    本文介绍了三种不同类型的编码器，用于将源句法明确地合并到神经机器翻译 (NMT) 中，并在中英文翻译实验中证明了这三种编码器的有效性，尤其是 Mixed RNN encoder 能有效提升 1.4 BLEU points，同时提供了深入分析来揭示源语法如何有益于 NMT。

    May, 2017

  • 具有潜在树状注意力的神经机器翻译

    我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型，利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构，从而训练出在字符级数据集中相当不错的分割和浅层解析表现，接近注意力基准。

    Sep, 2017

  • 基于树结构的神经机器翻译解码器

    该论文探究了加入不同语言结构对神经机器翻译性能的影响，提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型，并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升，能够超过标准的 seq2seq 模型和其他引入目标端语法的方法，提高 2.1 个 BLEU 分数。

    Aug, 2018

  • 具有语法感知的复数神经机器翻译

    本研究提出了一种将语法信息与复数编码器 - 解码器结构相结合的方法，通过注意力机制从源端到目标端联合学习单词级和语法级注意力分数，可以直接集成到任何现有的序列到序列框架中，并在两组数据集上表现出很大的 BLEU 分数提高，特别是在具有显著语法差异的语言对的翻译任务中表现出更大的改进。

    Jul, 2023

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019