紧凑神经机器翻译模型的循环层叠

Jul, 2018

紧凑神经机器翻译模型的循环层叠

Recurrent Stacking of Layers for Compact Neural Machine Translation Models

Raj Dabre, Atsushi Fujita

TL;DR本文提出跨层参数共享方法，将单层循环堆叠的神经机器翻译模型与完整的六层模型的翻译质量进行比较，结果表明使用伪对称语料库进行反向翻译可以显著提高翻译质量。

Abstract

In neural machine translation (NMT), the most common practice is to stack a number of recurrent or feed-forward layers in the encoder and the decoder. As a result, the addition of each new layer improves the translation quality significantly. However, this also leads to a significant i

neural machine translation recurrent stacking parameter sharing pseudo-parallel corpora back-translation

发现论文，激发创造

利用深度表示进行神经机器翻译

本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

Oct, 2018

浅层至深层训练用于神经机器翻译

本文研究了通过浅层模型堆叠训练深度编码器的浅层到深层的方法对神经机器翻译模型进行改进，并通过实验表明该方法可以显著提高翻译质量，并在 WMT'16 和 WMT'14 的任务中取得了 30.33 和 43.29 的 BLEU 分数。

Oct, 2020

神经机器翻译的深度增长

本文提出了一种有效的两阶段方法，包括三个特别设计的组件，以构建深度 NMT 模型，并在 WMT14 英德和英法翻译任务中取得了比强 Transformer 基线显着的改进。

Jul, 2019

适用于循环神经网络语言模型的瘦身嵌入层

本文介绍了一种通过在 RNN 中的输入和输出嵌入层共享参数来压缩模型参数的方法，实验证明该方法可大幅减小模型参数的大小，但仍能在自然语言处理中保持模型的准确性和性能表现。

Nov, 2017

神经机器翻译模型的稀疏性

本研究探讨神经机器翻译模型的超参数化问题，并通过实验证明删除的参数可以被再利用来提高基准模型的性能，其提高的翻译结果可以达到 0.8 个 BLEU 值，再利用的参数被用于增强底层的语义建模能力。

Oct, 2020

神经机器翻译的多层表示融合

本文提出多层表示融合（MLRF）方法来融合神经机器翻译系统中的堆叠层，并设计三个融合函数以从堆叠中学习更好的表示。实验结果显示，我们的方法在 IWSLT 德英和 NIST 中英机器翻译任务上分别比强 Transformer 基线提高了 0.92 和 0.56 BLEU 分数，这是新的德英翻译的最新水平。

Feb, 2020

神经机器翻译的深度架构

本文介绍和评估了引入深度的机器翻译模型的若干现有方法和新型架构，包括深转移 RNN 和不同深度解码时注意力的使用方式。实验结果表明，BiDeep RNN 架构的组合深度为 8 时在速度和翻译质量方面均有显著提高，相比强浅层基线的平均提高 1.5 BLEU。

Jul, 2017

多语言神经机器翻译中 Transformer 和循环神经网络的比较

本文研究了神经机器翻译在多语言翻译和零样本推理上的性能，比较了双语、多语和零样本系统的翻译质量，并调查了循环神经网络和 Transformer 等两种神经网络模型的翻译质量。研究表明，多语言神经机器翻译能够在多个语言之间共享表示空间，实现有效的跨语言学习。

Jun, 2018

基于重建的神经机器翻译

通过添加 reconstructor 到 encoder-decoder 框架中，从输出的 target sentence 的隐藏层中重构输入的 source sentence，改善了神经机器翻译的可靠性和翻译质量。

Nov, 2016

神经机器翻译一句话一模型

本篇论文提出了动态神经机器翻译 (Dynamic NMT) 的方法，通过对测试句子进行微调以适应具体场景，从而显着提高翻译性能。该方法特别适用于高度相似的句子。

Sep, 2016