适应低资源双重限制：研究在非洲低资源语言中使用低计算方法

ICLRMar, 2023

适应低资源双重限制：研究在非洲低资源语言中使用低计算方法

Adapting to the Low-Resource Double-Bind: Investigating Low-Compute Methods on Low-Resource African Languages

Colin Leong, Herumb Shandilya, Bonaventure F. P. Dossou, Atnafu Lambebo Tonja, Joel Mathew...

TL;DR通过对非洲语言 NLP 的低成本实验，我们评估了语言适配器的效果，并发现它们可以在仅使用免费计算资源的情况下与计算资源密集型的大规模预训练语言模型相媲美，从而打开了进一步实验和探索的可能。

Abstract

Many natural language processing (NLP) tasks make use of massively pre-trained language models, which are computationally expensive. However, access to high computational resources added to the issue of data scar

natural language processing language models low-resource languages language adapters african nlp

发现论文，激发创造

低资源双重限制：一项关于剪枝用于低资源机器翻译的实证研究

本研究探讨了在数据受限制的情况下使用压缩技术的影响，以及使用 magnitude pruning 的机器翻译任务中，在低资源情况下尽量保留性能的方法（使用稀疏性来避免 Memorization of low frequency attributes)。

Oct, 2021

尼日利亚派金语的低资源跨语言自适应训练

本研究针对低资源语言建设有效的口语处理系统提出了一个跨语言自适应训练框架，包括持续和任务自适应训练，以适应基于预训练模型的自然语言处理任务，采用英语预训练语言模型作为英语 - Pidgin 任务的强先验，取得了最高 2.38 的 BLEU 分数，加入正字法数据增强和反向翻译的任务自适应训练对模型性能有显著影响。

Jul, 2023

跨语言 NLU 中的语言适配器的影响

在不存在语言的监督数据的情况下，本文研究了语言适配器在自然语言理解任务中零样本跨语言转移中的作用，通过对两个多语言模型和三个多语言数据集的详尽消融研究，结果表明目标语言适配器在任务、语言和模型间影响高度不一致。相比之下，保留源语言适配器通常能够获得相当甚至更好的性能，训练后去除语言适配器只有较弱的负面影响，表明语言适配器对于预测结果的影响并不显著。

Jan, 2024

通过适配器在知识图谱上将多语言 LLMs 调整为资源不足的语言

该研究探讨了将语义本体中的图谱知识整合到多语言大型语言模型中，通过适配器提高低资源语言在情感分析和命名实体识别中的性能，对八种低资源语言进行了实证评估，提供了适应低资源情景的语言模型优势的见解。

Jul, 2024

将高资源 NMT 模型应用于低资源相关语言的翻译，不需要平行数据

本论文研究如何使用语言重叠来进行翻译，在仅有少量单语数据的情况下，结合去噪自编码、回译和对抗性目标，提出了一种名为 NMT-Adapt 的方法，实现了对低资源语言的翻译的提高。

May, 2021

神经机器翻译中低资源域适应的正确配方寻找

本研究探讨了针对预训练第三方 NMT 模型的单语和平行数据方法在领域适应中的效果，在低资源条件下提出了集成方法来缓解翻译质量的降低，并给出了在三个领域和四个语言对中的建议。

Jun, 2022

南非语言低资源语言建模

本文通过研究对南非低资源语言的开放词汇语言模型的表现来评估不同变种的 N 元模型、前馈神经网络、循环神经网络和 Transformers 网络。这项研究有望为非洲语言的多语种和低资源语言建模开辟新的研究途径。

Apr, 2021

极低资源非洲语言的神经机器翻译：巴姆巴拉语案例研究

本文研究了 Bambara 这种低资源语言的机器翻译问题，并提出了处理低资源语言数据稀缺问题的策略。我们还介绍了第一个 Bambara 到英文和法文的机器翻译平行数据集，并且提供了第一个机器翻译 Bambara 的基准结果。

Nov, 2020

多语言神经机器翻译的语言家族适配器

本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

Sep, 2022

LlamaTurk：为低资源语言适应开源生成型大语言模型

通过对英语为主的生成大语言模型进行调整，以适应资源匮乏的语言，并评估了不同的策略，包括持续训练、指导微调、任务特定微调和词汇扩展。结果表明，持续训练改进了语言理解能力，任务特定微调一般提高了下游任务的性能，但扩展词汇未带来实质性的益处。此外，在适应时，较大的模型通过少样本微调可以提高任务性能，而多语言模型在适应时表现不如单语言模型。

May, 2024