ACLApr, 2021

解决神经机器翻译在输入扰动中的漏洞

PDF
TL;DR本文提出了一种通过 Context-Enhanced Reconstruction（CER）方法提高神经机器翻译（NMT）在噪音输入下的稳健性的方法，该方法包括通过引入人造干扰词破坏自然性来抵制噪声，并通过提供更好的上下文表示来防止噪声传播。在中英文翻译和法英文翻译任务上的实验证明本方法能够提高新闻和社交媒体文本的稳健性，并且在社交媒体文本上的进一步微调实验表明该方法可以收敛到更高的位置并提供更好的适应性。
neural machine translationrobustnesscontext-enhanced reconstructionperturbationfine-tuning
发现论文，激发创造
  • 构建强韧的神经机器翻译系统

    本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强 NMT 系统的翻译品质，而且可以增强 NMT 模型的鲁棒性。

    May, 2018

  • 神经机器翻译对输入扰动的鲁棒性评估

    本文提出了衡量 NMT 模型抗干扰性能的一些额外指标，并针对一类使用子单词规范化方法的模型进行了广泛评估，结果表明我们提出的指标揭示了使用子单词规范化方法时抗干扰性能提高的明显趋势。

    May, 2020

  • 提高语音翻译的稳健性

    提出了一种简单且有效的方法来改进神经机器翻译在语音翻译中的稳健性，通过在干净的平行数据集中注入真实输出中存在的噪声以及结合拼音特征，使 NMT 可以在类似的单词分布下进行训练和测试，实验结果表明，该方法在多个噪声测试集上的稳定性表现优异，并在 WMT'17 中英测试集上取得了泛化性能的提高。

    Nov, 2018

  • 具有双重对抗输入的稳健神经机器翻译

    提出了一种改善神经机器翻译模型鲁棒性的方法，该方法包含两个部分：通过对抗性源样本攻击翻译模型，以及通过对抗性目标输入来防御翻译模型，以提高其对抗性源输入的鲁棒性，并通过梯度下降法生成对抗性输入来提高其性能。在中英和英德翻译任务的实验结果表明，在标准的干净基准测试中，我们的方法可以取得显著的改进（$2.8$ 和 $1.6$ BLEU 分数），同时在噪声数据上表现出更高的鲁棒性。

    Jun, 2019

  • 通过数据增强提高神经机器翻译的鲁棒性：超越回译

    本文探讨了神经机器翻译以及如何提高其对于噪声输入的鲁棒性，提出了新的数据扩充方法以及通过利用外部数据中的噪声来加强模型鲁棒性。

    Oct, 2019

  • 视觉线索和错误修正用于提高翻译稳健性

    本文研究如何提高神经机器翻译模型对于嘈杂文本的鲁棒性，针对常见人为错误和三种噪声类型，使用视觉上下文和错误训练来提高模型的性能。实验结果表明，多模态和错误校正组件在保持清洁文本翻译质量的基础上，提高了模型对嘈杂文本的鲁棒性。

    Mar, 2021

  • NMT 能理解我吗？朝着基于扰动的 NMT 模型代码生成评估的方向

    本文研究了神经机器翻译在代码生成中的鲁棒性检验方法和评价指标，提出了一组针对性的扰动和度量方式以验证模型的稳健性。通过初步的实验评估，得出了哪种扰动最影响模型以及对未来研究方向的有用见解。

    Mar, 2022

  • 提高实际场景神经机器翻译系统的鲁棒性

    本文讨论机器翻译中神经机器翻译的鲁棒性在实际应用中的问题，以及提高模型鲁棒性的方法。

    Jul, 2019

  • 评估神经语言模型对输入干扰的鲁棒性

    我们研究了在现实世界中输入文本可能有噪音或不同于 NLP 系统训练数据分布的情景，通过各种类型的字符级和单词级扰动方法来模拟这种情况，发现语言模型对输入扰动非常敏感，即使引入了很小的变化，其性能也会下降，需要进一步改进模型并对扰动输入进行评估以更加真实地了解 NLP 系统的鲁棒性。

    Aug, 2021

  • 来自非母语者的文本的神经机器翻译

    本研究研究神经机器翻译系统中的数据噪声问题以及如何通过增加包含人工引入的语法错误句子的训练数据来提高其对错误的鲁棒性，同时提出了一套用于测试神经机器翻译在处理语法错误上的 JFLEG 语法纠错语料库的西班牙语翻译。

    Aug, 2018