EMNLPApr, 2020

面向强鲁棒性神经机器翻译的对抗子词规范化

PDF
TL;DR该研究通过提出对抗子单词规范化技术（ADVSR）探讨了在训练过程中是否可以使用梯度信号作为多样化子单词分割的替代标准，实验证明该技术可以有效地减少分割错误对神经机器翻译模型的影响，从而提高模型在低资源和外部数据集上的性能。
neural machine translationsubword segmentationsadversarial subword regularizationgradient signalslow-resource datasets
发现论文，激发创造
  • 使用多个子词候选项改进神经网络翻译模型的子词正则化

    介绍了一种利用 subword segmentation 的噪声来提高神经机器翻译鲁棒性的正则化方法，主要应用于低资源领域。

    Apr, 2018

  • 多视角次词正则化

    应用现有子词规范化方法 (Kudo,2018;Profilkov et al., 2020) 对预训练的多语言表示进行微调，通过多视角子词规范化（MVR）方法增强跨语言转移的有效性，同时改善标准分词算法的效果，提高多语种基准测试 (XTREME) 的一致性改进 2.5 个点。

    Mar, 2021

  • 低资源机器翻译中基于子词正则化的单模型集成

    探讨使用多个子词部分划分提高神经机器翻译模型的鲁棒性，提出了一个推理策略，通过多种划分途径，包括最可信的划分和多个样本划分，来逼近边缘分布，并进行预测聚合，将其视为单个模型集成，在低资源机器翻译任务中改善了基于子词规则化训练的模型的性能。

    Mar, 2022

  • 通过对抗训练来改善神经语言模型

    使用对抗训练机制可以更好地规范神经语言模型中的过度拟合问题，增加嵌入向量的多样性并提高在机器翻译领域的性能。

    Jun, 2019

  • Subword 分段机器翻译：统一分段和目标句子生成

    该研究提出了一种称为子词分节机器翻译（SSMT）的新方法，通过在单个可训练模型中联合学习目标句子单词的分割和目标句子生成，在生成翻译过程中采用动态解码算法进行细分操作，实验结果表明，SSMT 能提高粘着语言的 chrF 分数以及对于评估形态组成通用性构建的测试集的鲁棒性也更强。

    May, 2023

  • 针对神经机器翻译的定向对抗攻击

    本文介绍了一种新的对神经机器翻译（NMT）模型的有针对性对抗攻击方法，目的是插入一个预定义的关键词到对抗性翻译中，同时保持源域中原始句子和扰动句子之间的相似性。文章提出了包括对抗损失项和相似性损失项的优化问题，并使用嵌入空间中的梯度投影来获得对抗性句子。实验结果表明，相比于 Seq2Sick 方法，本攻击方法在成功率和翻译质量降低方面表现更好，攻击成功率超过 75％，同时原始句子和扰动后的句子之间的相似性得以保持。

    Mar, 2023

  • 通过随机替换编码技术防御词级对抗攻击

    本文研究深度神经网络在自然语言处理任务中遭受对抗攻击的问题，并提出一种名为随机替换编码（Random Substitution Encoding，RSE）的新型防御框架，该框架可以有效保护文本分类任务免受单词级别对抗攻击。

    May, 2020

  • 突破数据屏障：通过对抗稳定性训练实现鲁棒性语音翻译

    本文提出了一种通过对编码器和解码器同时采用对抗学习和数据增强，使得神经机器翻译模型更加鲁棒处理语音识别误差的训练架构，并在 IWSLT2018 语音翻译任务上实现了与自然文本几乎相当的结果，在有识别噪声的 ASR 输出上比基准系统高 2.83 个 BLEU 分数。

    Sep, 2019

  • 神经机器翻译增强对抗样本生成

    通过基于强化学习的新范例生成对抗性样本，我们对神经机器翻译系统如何失败的情况进行了探究，旨在暴露给定性能度量下的缺陷，我们对两种主流的神经翻译架构，RNN-search 和 Transformer，进行了敌对攻击的实验，结果表明我们的方法有效地生成了稳定的攻击和有保留含义的对抗性样本，同时，我们还展示了攻击偏好模式的定性和定量分析，证明我们的方法能够暴露神经翻译系统的缺陷。

    Nov, 2019

  • 构建强韧的神经机器翻译系统

    本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强 NMT 系统的翻译品质，而且可以增强 NMT 模型的鲁棒性。

    May, 2018