Feb, 2024

多语种机器翻译中目标方传输和正则化的角色解构

PDF
TL;DR多语言机器翻译（MMT）通过不同语言对之间的知识迁移而受益。本文通过在目标辅助语言方面进行大规模研究，涉及语言相似性和语料库大小等两个维度，展示了知识迁移对主要语言对的动态影响。我们发现，在语言相似的辅助目标语言中，存在强烈的正向知识迁移能力，并且随着相似目标语言规模的增加，正向迁移效果进一步增强，有利于主要语言对。与此同时，我们发现远距离的辅助目标语言即使拥有较小的正向迁移能力，也能意外地对主要语言对产生正面影响。此外，我们还展示了远距离的辅助目标语言可以作为一种正则化器，通过增强广义化和模型推理校正来提高翻译性能。
multilingual machine translationknowledge transferone-to-many translationlinguistic similaritycorpus size
发现论文，激发创造
  • 通过表示和梯度规范化提高多语言翻译

    本文提出了一种同时在表示层和梯度层面上正则化神经机器翻译（NMT）模型的方法，以解决多语言 NMT 在零 - shot 翻译中出现偏离目标语言及低质量翻译的问题，并在 WMT 和 OPUS 数据集上实现了 5.59 和 10.38 BLEU 的性能提升。

    Sep, 2021

  • 多语言跨性质与双向多语言协议在多语言文档级机器翻译中的应用

    本文提出了一种名为 MTrans 的新框架，其使用 TPD 方法进行训练以实现源 - 辅助 - 目标的最优路径，并使用 Bi-MAgree 框架和 MKL 方法来鼓励跨语言一致性。实验表明，这种方法在多个任务上都表现出了显著的改善。

    Sep, 2022

  • 所知多语言影响学习多语言的方法：语言特性对多语言文本转换的影响

    本文在分析预训练 mT5 模型对 90 种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。

    Dec, 2022

  • 透过表征镜头观察多语言机器翻译中的知识转移

    该研究认为，单纯使用翻译质量度量多语言神经机器翻译中的知识转移并不足够。为了支撑这一观点，引入了 “表示转移潜力”（RTP），用于衡量不同语言之间的表示相似性，并发现 RTP 可测量正向和负向的迁移（干扰），并且 RTP 与翻译质量变化强相关。除此之外，还研究了影响迁移的数据和语言特征，并认为多重并行重叠是一个重要而未被充分利用的特征。基于此，开发了一种新型训练方案，使用辅助相似性损失，通过利用多重并行数据鼓励表示在不同语言之间更具不变性。证明这种方法可提高多种数据和模型情况下低资源语言的翻译质量。

    May, 2023

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • 跨语言迁移中多源语言训练的分析

    多语种语言模型，交叉语言迁移，源语言，嵌入空间，语言组合

    Feb, 2024

  • 跨语种分类中机器翻译的再次研究

    使用更强的机器翻译系统并减少原始文本训练和机器翻译文本推理之间的不匹配，翻译 - 测试可以比之前假定的效果更好，从而对跨语言分类的多语言模型的支配提出了质疑，并促使更多关注基于机器翻译的基准线。

    May, 2023

  • 是否翻译：对基于翻译的跨语言转移到低资源语言的系统调查

    用机器翻译和多语言模型来进行跨语言转移，尤其是对低资源语言进行翻译的方法比零样本跨语言转移方法要有效。通过在源语言训练数据上进行往返翻译并在目标语言测试实例上进行翻译的方法最有效。同时，通过将其他高资源语言的可靠翻译添加到训练数据中，还可以获得更多实证方面的收益。研究还提出了一种针对不受机器翻译系统支持的语言的有效的基于翻译的跨语言转移策略。最后，通过使用目标语言校验数据来进行模型选择，比使用源语言数据进行模型选择要更好。我们希望我们的研究结果能够促进在跨语言转移研究中采用更可靠的基于翻译的基准线方法。

    Nov, 2023

  • 通过理解和学习辅助文本翻译任务来提高语音翻译

    本文研究了在多任务学习框架下，辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案，提出三种方法以提高翻译质量，实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。

    Jul, 2021

  • 多语言递归神经网络中的跨语言句法转移理解

    研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的 LMs 与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。

    Mar, 2020