Feb, 2017

预测目标语言 CCG 标记提高神经机器翻译效果

PDF
TL;DR本文研究如何改进神经机器翻译，通过在 decoder 中插入 CCG supertags 的形式的目标语句法信息，进一步模拟复杂的句法现象，经过实验比较，发现这样的改进可以提高翻译质量，尤其是对于一些句法结构复杂的语言对。
neural machine translationsyntactic informationccg supertagsmultitask trainingbleu
发现论文，激发创造
  • 基于字符串到树的神经机器翻译方法

    本文介绍了一种简单的方法，通过翻译成线性化的、词汇化的组成树来融合有关目标语言的语法信息，实验结果表明，与同一数据集上训练的语法无关的神经机器翻译系统相比，WMT16 德英新闻翻译任务的 BLEU 评分得到了明显提升。对语法感知系统的翻译进行分析后发现，它在翻译过程中进行了更多的重排。小规模人类评估也表明了语法感知系统的优势。

    Apr, 2017

  • 具有语法感知的复数神经机器翻译

    本研究提出了一种将语法信息与复数编码器 - 解码器结构相结合的方法，通过注意力机制从源端到目标端联合学习单词级和语法级注意力分数，可以直接集成到任何现有的序列到序列框架中，并在两组数据集上表现出很大的 BLEU 分数提高，特别是在具有显著语法差异的语言对的翻译任务中表现出更大的改进。

    Jul, 2023

  • 定时多任务学习：从句法到翻译

    提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

    Apr, 2018

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 神经机器翻译中的源语法建模

    本文介绍了三种不同类型的编码器，用于将源句法明确地合并到神经机器翻译 (NMT) 中，并在中英文翻译实验中证明了这三种编码器的有效性，尤其是 Mixed RNN encoder 能有效提升 1.4 BLEU points，同时提供了深入分析来揭示源语法如何有益于 NMT。

    May, 2017

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • 神经机器翻译的潜在词性序列

    本文介绍一种新的基于 latent variable 的神经机器翻译模型 LaSyn，通过修改基于 transformer 的 NMT 系统并使用基于词性信息的神经期望最大化算法作为 latent sequences 的正则化方法，实现了对目标语言句子结构的有效和高效推理，从而提高了翻译的质量和多样性。

    Aug, 2019

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017

  • 带有句法感知词表示的句法增强神经机器翻译

    本研究提出了一种基于依赖解析器的隐式语法表示方法，通过使用中间隐藏的依赖解析器表示来增强基础神经机器翻译模型，可以在中英文和英越翻译任务的基准数据集上显著提高 BLEU 打分表现，并超过了显式树状 RNN 和线性化方法。

    May, 2019

  • 在 Transformer NMT 中推广源语法知识是不必要的

    本研究旨在通过使用 Transformer 模型和较大的语料库来提高源端句法知识的表征，并利用多任务学习进行数据操纵或使用专用模型组件。提供的结果表明，采用线性树而不是真实依赖得到的增益不是来自于语言知识的增加，而是由于在自注意矩阵上引起的某种简单的正则化效应。

    Oct, 2019