构建强韧的神经机器翻译系统
提出了一种改善神经机器翻译模型鲁棒性的方法,该方法包含两个部分:通过对抗性源样本攻击翻译模型,以及通过对抗性目标输入来防御翻译模型,以提高其对抗性源输入的鲁棒性,并通过梯度下降法生成对抗性输入来提高其性能。在中英和英德翻译任务的实验结果表明,在标准的干净基准测试中,我们的方法可以取得显著的改进($2.8$ 和 $1.6$ BLEU 分数),同时在噪声数据上表现出更高的鲁棒性。
Jun, 2019
本文提出了一种通过 Context-Enhanced Reconstruction(CER)方法提高神经机器翻译(NMT)在噪音输入下的稳健性的方法,该方法包括通过引入人造干扰词破坏自然性来抵制噪声,并通过提供更好的上下文表示来防止噪声传播。在中英文翻译和法英文翻译任务上的实验证明本方法能够提高新闻和社交媒体文本的稳健性,并且在社交媒体文本上的进一步微调实验表明该方法可以收敛到更高的位置并提供更好的适应性。
Apr, 2021
本文提出了衡量 NMT 模型抗干扰性能的一些额外指标,并针对一类使用子单词规范化方法的模型进行了广泛评估,结果表明我们提出的指标揭示了使用子单词规范化方法时抗干扰性能提高的明显趋势。
May, 2020
提出了一种简单且有效的方法来改进神经机器翻译在语音翻译中的稳健性,通过在干净的平行数据集中注入真实输出中存在的噪声以及结合拼音特征,使 NMT 可以在类似的单词分布下进行训练和测试,实验结果表明,该方法在多个噪声测试集上的稳定性表现优异,并在 WMT'17 中英测试集上取得了泛化性能的提高。
Nov, 2018
本文研究了神经机器翻译在代码生成中的鲁棒性检验方法和评价指标,提出了一组针对性的扰动和度量方式以验证模型的稳健性。通过初步的实验评估,得出了哪种扰动最影响模型以及对未来研究方向的有用见解。
Mar, 2022
本文介绍了一种新的对神经机器翻译(NMT)模型的有针对性对抗攻击方法,目的是插入一个预定义的关键词到对抗性翻译中,同时保持源域中原始句子和扰动句子之间的相似性。文章提出了包括对抗损失项和相似性损失项的优化问题,并使用嵌入空间中的梯度投影来获得对抗性句子。实验结果表明,相比于 Seq2Sick 方法,本攻击方法在成功率和翻译质量降低方面表现更好,攻击成功率超过 75%,同时原始句子和扰动后的句子之间的相似性得以保持。
Mar, 2023
深度学习模型中的对抗攻击通过对输入进行微小扰动,从而导致输出发生重大变化。我们的研究重点是这种对抗攻击对序列到序列(seq2seq)模型的影响,特别是机器翻译模型。我们引入了基本的文本扰动启发式算法和更高级的策略,例如基于梯度的攻击,该攻击利用可微分逼近的非可微分翻译度量。通过我们的调查,我们提供了证据表明机器翻译模型对已知最佳对抗攻击显示出鲁棒性,因为输出中的扰动程度与输入中的扰动成正比。然而,在次优方法中,我们的攻击方法优于其他方法,提供了最佳的相对性能。另一个有力的候选方法是基于混合单个字符的攻击。
Sep, 2023
本文提出了一种通过对编码器和解码器同时采用对抗学习和数据增强,使得神经机器翻译模型更加鲁棒处理语音识别误差的训练架构,并在 IWSLT2018 语音翻译任务上实现了与自然文本几乎相当的结果,在有识别噪声的 ASR 输出上比基准系统高 2.83 个 BLEU 分数。
Sep, 2019