EMNLPSep, 2021

语言相关性在多语言语言模型微调中的作用：印度雅利安语的案例研究

PDF
TL;DR本文探讨利用多语言微调技术在 NLP 模型中利用同一语系的相关性对性能的影响，结果表明在微调预训练的多语言模型时，与单独微调每一语言相比，多语言微调可以在下游 NLP 应用程序中获得更好的性能。 印欧 - 雅利安语系（IA）被选为研究对象，实验结果表明精细选择一组相关语言的性能比使用所有相关语言显着提高。
发现论文，激发创造
  • 利用语言相关性进行低网络资源语言模型适应：印度语言研究

    本文针对印度语言中不足文本资源的问题，提出了一种称为 RelateLM 的利用相关语言作为中间媒介的方法，通过音译和数据增强等技术，将限制资源语言文本转化到具备足够语料的相关语言中间站，从而提高多语言模型的适用性。

    Jun, 2021

  • 印度语到印度语的多语言神经机器翻译系统

    本文构建了 Indic-to-Indic 机器翻译模型，并且考察了语言相关性、借用相关语言以及不同语系对模型效率的影响，结果发现，使用相关语言对 WI 语系是有益的，而对 EI 语系可能是有害的，对 DR 语系影响不明确，但对 EN-IL 模型是有用的，并且转译还有助于提高模型的性能。

    Jun, 2023

  • Indic-Transformers: 基于 Transformer 模型的印度语言模型分析

    该研究通过对 Hindi、Bengali 和 Telugu 语言进行广泛实验，评估了基于 Transformer 架构的语言模型在印度语言上的性能，发现 Fine-tuning 预训练模型参数比从头训练语言模型更有效，而数据集大小与模型性能之间的严格依赖关系需要被探讨。最终，在文本分类任务中实现了 Hindi 和 Bengali 语言的最新技术水平，并提出了处理印度语言建模问题的有效策略。

    Nov, 2020

  • 基于系统发育的多语种模型自适应到新语言

    本研究展示了如何利用语言的亲缘关系信息，以结构化、基于语言学的方式改进跨语言转移，并在多个语言家族（如日耳曼语族、乌拉尔语族、托皮语族和乌托邦 - 阿兹特克语族）上进行适配器训练，在句法和语义任务上实现相对性能提升超过 20%，特别是在没有预先训练的语言上。

    May, 2022

  • 多语言神经机器翻译的语言家族适配器

    本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

    Sep, 2022

  • 针对低资源语言家族的定向多语言适应

    对于低资源语言，通过针对性的多语言训练，依照乌拉尔语系为案例进行调整，通过实验证明适应性的词汇大小对于低资源语言的影响相对较小，低资源语言在训练阶段能够进行积极采样而对高资源语言的性能影响微乎其微，从而为特定语境中的语言适应性提供了新的最佳实践。

    May, 2024

  • 评估涉及英语和印度语的大型语言模型的翻译能力

    通过使用机器翻译作为涉及英语和 22 种印度语言的任务，我们探索了大型语言模型的多语言能力，研究了原始模型的翻译能力和上下文学习能力，通过参数高效的微调方法和完全微调，我们确定了最佳性能的大型语言模型。结果表明，大型语言模型在包括目前在 LLMs 中代表较少的语言的机器翻译能力方面取得了显著的进展。

    Nov, 2023

  • 探究多语种机器翻译中的词汇共享在印度语言中的应用

    本文研究了多语言机器翻译中的词汇共享和转写等策略对翻译性能的影响，并探讨了数据采样和词汇大小之间的平衡。研究发现，转写并不能显著提高翻译性能，而原始脚本训练的多语言机器翻译模型对于不同脚本的语言具有较强的泛化能力。

    May, 2023

  • 语言如何相互影响？研究 LLM 微调期间的跨语言数据共享

    本研究使用 TracIn 方法分析多语言大模型的跨语言数据共享机制，发现多语言大模型在微调的早期阶段即依赖多语言数据，且随着微调的进行，这种依赖关系逐渐增强，同时还研究了微调语言对特定测试语言上的模型表现的影响。

    May, 2023

  • 多任务和多语言模型用于词法分析

    该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型，通过研究 60 种语言的多种 NLP 任务，该论文表明了联合多任务和多语言建模的潜力，并暗示从这些模型中可以获得语言学洞见。

    Sep, 2018