神经机器翻译的显式句子压缩

AAAIDec, 2019

Explicit Sentence Compression for Neural Machine Translation

Zuchao Li, Rui Wang, Kehai Chen, Masao Utiyama, Eiichiro Sumita...

TL;DR该研究提出了一种明确的句子压缩方法来增强源句子对于 NMT 的表征，包括背景信息，提出三种整合压缩句子到 NMT 的方法，并在 WMT 英法和英德翻译任务上进行实验测试，结果显示该压缩方法显著提高了翻译表现。

Abstract

State-of-the-art Transformer-based neural machine translation (NMT) systems still follow a standard encoder-decoder framework, in which source sentence representation can be well done by an encoder with self-attention mechanism. Though Transformer-based encoder may effectively capture

transformer-based nmt explicit sentence compression source sentence representation translation performance encoder-decoder

发现论文，激发创造

文本压缩辅助下的 Transformer 编码

本文提出了显式和隐式文本压缩方法来增强 Transformer 编码，并用这种方法评估了多个依赖于编码的典型下游任务的模型。我们提出了三种方式的集成，即骨干源侧融合，目标侧融合和双侧融合，以便于变压器基于模型集成骨干信息的各种下游任务中。与强基线相比较，我们的显式和隐式文本压缩方法改善了结果，我们认为文本压缩有助于编码器学习更好的语言表示。

Feb, 2021

利用语法感知编码器和解码器实现改进的神经机器翻译

本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

Jul, 2017

神经机器翻译中的源语法建模

本文介绍了三种不同类型的编码器，用于将源句法明确地合并到神经机器翻译 (NMT) 中，并在中英文翻译实验中证明了这三种编码器的有效性，尤其是 Mixed RNN encoder 能有效提升 1.4 BLEU points，同时提供了深入分析来揭示源语法如何有益于 NMT。

May, 2017

神经机器翻译一句话一模型

本篇论文提出了动态神经机器翻译 (Dynamic NMT) 的方法，通过对测试句子进行微调以适应具体场景，从而显着提高翻译性能。该方法特别适用于高度相似的句子。

Sep, 2016

利用深度表示进行神经机器翻译

本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

Oct, 2018

联合表示的神经机器翻译

本研究提出一种基于联合表示的神经机器翻译模型，通过提出的高效注意力机制对表示进行精细化处理，实现了新的序列到序列建模范式并在多项机器翻译任务中取得了更优结果，同时提出了系统的模型放大方法，成功将模型规模缩小 50%，同时取得更高的翻译品质。

Feb, 2020

利用句子上下文进行神经机器翻译

本研究提出了利用句子上下文进行神经机器翻译的新方法，并在 WMT14 英德和英法基准测试中进行了实验，结果表明，通过利用句子上下文可以提高翻译性能，深度句子上下文可以形成更全面的上下文表示。

Jun, 2019

具有局部约束的源目标自注意力

本论文提出了一种基于 transformer 模型的新型神经机器翻译架构，采用自注意力机制加局部约束对 attention 接受场进行改进，实现了在多个翻译基准数据集上的最新 BLEU 最优结果。

May, 2019

探究神经机器翻译系统对荒谬输入的鲁棒性

本篇论文研究了 NMT 系统在源语句中进行多次更改时的表现，并提出了基于软性关注力技术的单词替换方法，对英德和英法两种语言对进行实验，结果表明现有技术无法捕捉源语言的语义，提出的软性关注力技术是一种不变性基攻击，可通过备选指标更好地评估这种攻击。

Aug, 2019

神经机器翻译的显式重排序

本文介绍了如何使用双语平行数据集来模拟目标语序，在改进了位置编码机制的基础上，提出了一种新的序列重排序方法来显式地模拟源语句子的重排序信息，同时实验证明，该方法在多种翻译任务中均有效。

Apr, 2020