零样本多语言神经机器翻译中的离靶问题
该篇论文从不确定性的角度出发,提出两种轻量级的方法解决零 - shot 翻译的偏差问题,并在平衡和不平衡数据集上进行实验,证实这些方法显著提高了在强 MNMT 基线上的零 - shot 翻译的性能,并提供了定量分析的见解。
May, 2022
本文探讨了如何改善大规模多语言神经机器翻译模型的性能,并提出了加强模型能力、引入语言特定组件和加深神经机器翻译结构以支持具有不同类型学特征的语言对,同时通过随机在线回译来解决离线训练中未出现的语言对翻译问题。实验结果表明,本方法在一对多和多对多设置中缩小了双语模型的性能差距,并将零 - shot 表现提高约 10 BLEU,接近传统的基于中间语言的方法。
Apr, 2020
通过对零样本翻译中的语言 ID 导航能力进行实验和分析,本研究提出了一种新的方法,通过对负样本进行概率调整来最小化偏离目标翻译的可能性,从而改善零样本翻译模型的性能。
Sep, 2023
本文研究了多语言神经机器翻译模型的零样本翻译问题,提出了基于辅助损失的方法,并在 WMT14 英语 - 法语 / 德语上实现了与基于中介语的模型相媲美的零样本翻译效果,同时在 IWSLT 2017 共享任务中验证了该方法的易于扩展性。
Mar, 2019
通过对涵盖 40 种语言的 1,560 个语言方向进行系统实验,我们发现目标端翻译质量是最具影响力的因素,词汇重叠一直对零射击性能产生影响,此外,语言的家族和书写系统等语言属性对于较小的模型具有一定作用。
Oct, 2023
通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译,此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。
Jun, 2019
多语言神经机器翻译模型通过在源语言或目标语言句子前添加语言标签(LT)来区分翻译方向。然而,目前的语言标签策略在零 - shot 翻译中无法准确指示期望的目标语言,即目标偏移问题。为解决上述问题,我们提出了一种名为语言转换策略(LCS)的简单而有效的策略。通过将目标语言嵌入到顶层编码器中,LCS 减轻了编码器的混淆,并确保了对解码器的稳定语言指示。在 MultiUN、TED 和 OPUS-100 数据集上的实验结果表明,LCS 可以显著减轻目标偏移问题,同时在零 - shot 翻译中相对于传统的语言标签策略,语言准确率分别提高了 3.07、3.3 和 7.93 BLEU 分数。
Jun, 2024
通过利用音译和语言相似性,本研究构建了一个单一编解码器神经机器翻译系统,用于 Dravidian-Dravidian 多语言翻译和零翻译;通过限制词汇表使用优化传输技术,该模型在训练语言方向的 50%上达到了与大型基于引导的模型相差 3 个 BLEU 的分数。
Aug, 2023
本文提出一种简单的迭代训练过程,利用系统直接生成的翻译对零 - shot 方向进行翻译,以及原始并行数据,来重新训练多语言网络,有效提高了多语言模型的 BLEU 分数,并且在非零 - shot 语言方向上的性能也略有提升。
Nov, 2018
本文针对零资源的多语言任务导向对话系统进行零样本自适应的提出,使用极少量的平行语词来优化对齐的跨语言词级表示,并采用潜变量模型处理不同语言间类似句子的变化,实验表明,我们的模型在零样本情况下对自然语言理解任务的适应性优于当前最先进的模型。
Nov, 2019