ACLFeb, 2024

低资源语言的机器翻译性能预测：领域相似性的作用

PDF
TL;DR对于低资源语言（LRLs）来说，微调和测试多语言大型语言模型是昂贵和具有挑战性的。我们调查了微调语料库的大小、微调和测试语料库之间的领域相似性以及源语言和目标语言之间的语言相似性对模型性能的影响，结果表明领域相似性对机器翻译模型性能的预测有最重要的影响。
fine-tuninglow-resource languagesdomain similaritylanguage similaritymachine translation models
发现论文，激发创造
  • 通过领域自适应技术利用语言相关性进行机器翻译

    本文提出了一种新颖的方法使用基于 5-gram KenLM 语言模型的缩放相似性分数，尤其是对于相关语言，该方法使用 Kneser-ney 平滑技术从域内数据中过滤出域外数据，以提高机器翻译的翻译质量。 此外，我们采用了其他域自适应技术，如多域、微调和迭代回译方法，以比较我们在 Hindi-Nepali 语言对上的新方法在 NMT 和 SMT 上的效果，我们的方法在多域方法上增加了约 2 个 BLEU 点，在微调 NMT 方面提高了约 3 个 BLEU 点，在迭代回译上提高了约 2 个 BLEU 点。

    Mar, 2023

  • 通过多语言转移学习利用跨领域平行数据进行低资源神经机器翻译的开发

    本文提出了一种新的多语种多阶段微调方法，融合了领域自适应、多语言和反向翻译，通过利用域外数据的转移学习方法来帮助改善日俄低资源神经机器翻译的质量。

    Jul, 2019

  • 神经机器翻译快速适应新语言

    本文提出了針對低資源語言進行神經機器翻譯系統適應的策略，基於大規模的多語言種子模型，通過將訓練擴展到相關低資源語言數據上，與高資源語言一起進行聯合訓練，實現了相似語言正則化策略，實驗表明在 4 個低資源語言環境下，BLEU 得分平均提高了 1.7。

    Aug, 2018

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 利用词汇相似性实现极低资源语言的零 - shot 机器翻译

    本篇论文讨论了如何利用字符噪声注入方法，将近乎无资源语言翻译成英文，使其更能够适应高资源语言，并在多种语言家族的紧密相关语言对中得到了显著的优异表现。

    May, 2023

  • 神经机器翻译中低资源域适应的正确配方寻找

    本研究探讨了针对预训练第三方 NMT 模型的单语和平行数据方法在领域适应中的效果，在低资源条件下提出了集成方法来缓解翻译质量的降低，并给出了在三个领域和四个语言对中的建议。

    Jun, 2022

  • 低资源自然语言理解的有效迁移学习

    本论文旨在解决 NLU 模型在缺乏数据或知识资源时的挑战，提出了跨语言和跨域适应方法及面向低资源语言的关键词增强方法、序列颗粒化建模方法、多领域预训练方法和粗粒度到细粒度的表示学习框架。

    Aug, 2022

  • 针对特定领域机器翻译的大型语言模型微调

    本文提出了一种基于提示的精调方法（LlamaIT），以实现对通用语言模型（LLM）在领域特定机器翻译任务中的有效和高效精调，并通过零样本提示与指令适应目标领域。结果表明，LlamaIT 能够显著提升 LLM 的领域特定机器翻译能力，同时保持其零样本机器翻译能力。

    Feb, 2024

  • 机器翻译领域自适应的有效性

    该论文探讨了加速最近邻机器翻译的几种方法，其中介绍了一种简单但有效的缓存策略，避免了之前出现过的类似上下文的再次检索。翻译质量和运行时间表明了这些解决方案的有效性。

    Apr, 2022

  • 在语言相似度高的情况下适应单语模型：数据匮乏的问题

    本篇论文重点研究了如何使用尽可能少的数据实现零 - shot 迁移学习，并探讨了语言相似度在该过程中的影响。研究人员利用两种低语言资源语言重新训练了四个基于 BERT 的模型的词汇层，同时对模型的源语言进行了独立的 POS 标记任务的微调。研究结果发现，通过将新的词汇层和微调后的 Transformer 层相结合，即使在仅有 10MB 的数据的情况下，也能显著提高两种目标语言任务的性能。值得注意的是，在目标语言被包含在多语言模型中时，单语 BERT-based 模型在重新训练词汇层后的下游任务表现要高于多语 BERT。

    May, 2021