IJCAIJul, 2020

神经机器翻译与错误校正

PDF
TL;DR本文提出了一种将错误校正机制引入神经机器翻译中的方法，通过使用两个流的自注意力机制，在保证预测下一个标记的同时，对前一个标记的错误信息进行更正，使用预测偏差模拟训练，并在多个数据集上进行了实验验证，证明了其在提高翻译质量方面的有效性。
neural machine translationerror correction mechanismself-attentionscheduled samplingtranslation quality
发现论文，激发创造
  • 神经机器翻译的训练和推理之间的缩小差距

    本研究针对神经机器翻译存在的训练误差积累和过度校正问题，提出了一种从训练模型的预测序列中采样上下文词并使用句子级优化方法选择预测序列的训练策略，并在中英互译和 WMT'14 英德互译数据集上得到了显著提高。

    Jun, 2019

  • 来自非母语者的文本的神经机器翻译

    本研究研究神经机器翻译系统中的数据噪声问题以及如何通过增加包含人工引入的语法错误句子的训练数据来提高其对错误的鲁棒性，同时提出了一套用于测试神经机器翻译在处理语法错误上的 JFLEG 语法纠错语料库的西班牙语翻译。

    Aug, 2018

  • 基于重建的神经机器翻译

    通过添加 reconstructor 到 encoder-decoder 框架中，从输出的 target sentence 的隐藏层中重构输入的 source sentence，改善了神经机器翻译的可靠性和翻译质量。

    Nov, 2016

  • 神经网络翻译模型用于语法纠错

    本文介绍了使用神经网络全局词汇模型和神经网络联合模型来改善基于短语的统计机器翻译系统的局限性，通过对源句子的环境信息进行更有效地利用，显著提高了语法错误纠正的准确性。

    Jun, 2016

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 基于字符注意力机制的神经语言纠错

    本文介绍了一种基于神经网络的自然语言校正方法，该方法以字符级别操作避免了词汇表外的问题，并展示了在语言学习者论坛收集的数据集上的灵活性和性能。与语言建模相结合后，该方法在 CoNLL 2014 共享任务中实现了最先进的 $F_{0.5}$- 分数。

    Mar, 2016

  • 通过目标双向一致性正则化神经机器翻译

    提出了一种基于 Kullback-Leibler 散度规则的神经机器翻译（NMT）正则化方法，并采用联合训练策略，将左到右和右到左 NMT 解码器改进互动方式，从而有效提高了中英文和英德翻译任务的表现。

    Aug, 2018

  • 探究神经机器翻译系统对荒谬输入的鲁棒性

    本篇论文研究了 NMT 系统在源语句中进行多次更改时的表现，并提出了基于软性关注力技术的单词替换方法，对英德和英法两种语言对进行实验，结果表明现有技术无法捕捉源语言的语义，提出的软性关注力技术是一种不变性基攻击，可通过备选指标更好地评估这种攻击。

    Aug, 2019

  • 同步双向神经机器翻译

    本研究提出了同步双向神经机器翻译模型，通过同时进行从左到右和从右到左解码，以相互交互的方式预测输出，从而利用历史和未来信息，并在大规模数据上实验证明其优于强的 Transformer 模型，达到了中英文和英德文翻译任务的最新性能。

    May, 2019

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016