Jun, 2019

神经机器翻译的训练和推理之间的缩小差距

PDF
TL;DR本研究针对神经机器翻译存在的训练误差积累和过度校正问题，提出了一种从训练模型的预测序列中采样上下文词并使用句子级优化方法选择预测序列的训练策略，并在中英互译和 WMT'14 英德互译数据集上得到了显著提高。
neural machine translationtrainingerror accumulationsampling context wordssentence-level optimum
发现论文，激发创造
  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 无监督神经机器翻译训练和推断之间数据差距的纾解

    通过在线自我训练方法缩小数据差距，使用伪并行数据来模拟推理情景，从而解决了 Unsupervised Neural Machine Translation​中的源数据差异所带来的挑战。

    Mar, 2022

  • 神经机器翻译与错误校正

    本文提出了一种将错误校正机制引入神经机器翻译中的方法，通过使用两个流的自注意力机制，在保证预测下一个标记的同时，对前一个标记的错误信息进行更正，使用预测偏差模拟训练，并在多个数据集上进行了实验验证，证明了其在提高翻译质量方面的有效性。

    Jul, 2020

  • 基于概率 N-gram 匹配的贪婪搜索神经机器翻译

    该研究提出一种基于可微序列级训练目标的方法，使用概率 n-gram 匹配来避免强化学习框架，该方法在训练中执行贪心搜索并使用预测的单词作为上下文，以缓解曝光偏差问题，实验结果表明，该方法在 NIST 中英文翻译任务中显着优于基于强化学习的算法，并在强基线系统上平均实现了 1.5 个 BLEU 点的改进。

    Sep, 2018

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016

  • 基于神经机器翻译的实时翻译学习

    本论文提出了一种基于神经机器翻译的实时翻译框架，通过代理决策来实现翻译输出实时化并且具有可控的翻译质量与延迟，通过在两种语言对上的实验结果表明了该方法在定量与定性方面的有效性。

    Oct, 2016

  • 使用自我训练在句子级神经机器翻译模型中捕获文档上下文

    该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。

    Mar, 2020

  • 神经机器翻译一句话一模型

    本篇论文提出了动态神经机器翻译 (Dynamic NMT) 的方法，通过对测试句子进行微调以适应具体场景，从而显着提高翻译性能。该方法特别适用于高度相似的句子。

    Sep, 2016

  • 深入探究上下文感知神经机器翻译

    本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

    Oct, 2020

  • 神经机器翻译的上下文门控制

    为解决传统神经机器翻译技术所存在的译文质量缺陷问题，我们提出了一种名为 context gates 的动态控制算法，旨在更加细致地控制源与目标语境对目标词汇生成的影响比率，实验结果显示较传统注意力机制神经机器翻译系统提升 2.3 BLEU 分数。

    Aug, 2016