通过近缘语言进行向低资源语言的转移：以法罗语为例的案例研究

Apr, 2023

通过近缘语言进行向低资源语言的转移：以法罗语为例的案例研究

Transfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese

Vésteinn Snæbjarnarson, Annika Simonsen, Goran Glavaš, Ivan Vulić

TL;DR通过研究低资源语言法罗语和高资源语言家族之间的语言分类、起源和进化关系，将在多语言语境下的 NLP 应用中常用的 “一刀切”（one-size-fits-all) 的翻译方式转变为提供更高的翻译准确度，同时利用丰富的斯堪的那维亚语言（丹麦语、挪威语、瑞典语和冰岛语）的资源来为 Faroeese 语提供支持，其结果表明可以大幅提高向低资源语言法罗语的翻译性能，并开发了一个新的 web Farosee 语料库，并提供命名实体识别（NER），语义文本相似度（STS）和所有斯堪的那维亚语言训练的新语言模型的数据集。

Abstract

multilingual language models have pushed state-of-the-art in cross-lingual NLP transfer. The majority of zero-shot cross-lingual transfer, however, use one and the same massively multilingual transformer (e.g., m

multilingual language models cross-lingual transfer phylogenetic information low-resource languages scandinavian languages

发现论文，激发创造

分析低资源非洲命名实体识别中的跨语言传递

通过研究名词实体识别任务的十种低资源语言之间的跨语言迁移学习，我们发现自适应微调和迁移语言的选择对零射击迁移性能有何影响，发现在个别语言性能和在其他语言上的概括之间存在权衡，同时源数据集和目标数据集之间的数据重叠程度是预测迁移性能的更好指标，而不是语言之间的地理或遗传距离。

Sep, 2023

从零到英雄：多语言 Transformer 的零 - shot 跨语言转移限制

分析了 massively multilingual transformers 在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的 few-shot transfer 在多语言转换中十分有效。

May, 2020

通过注入字符级噪声改善密切相关语言之间的零样本跨语言转移

通过在高资源语言中增加字符级噪音，我们提出了一种简单而有效的策略，以增强密切相关的语言之间的跨语言转移，从而提高 POS 标记和主题识别等任务的零样本转移能力。

Sep, 2021

多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

Jul, 2022

多语言 Transformer 模型的远程监督和迁移学习：关于非洲语言的研究

研究了不同数量可用资源的情况下，对三种非洲语言 Hausa，isiXhosa 和 Yoruba 进行 NER 和主题分类的表现趋势，并通过远距离监督和迁移学习等方法，使用少量的标注数据达到与基线相同的性能，揭示了低资源学习中存在的挑战和机会。

Oct, 2020

相关语言间的跨语言转移：将低资源马耳他语视为多语言代码交换

使用词源学的条件转译对马耳他语进行预处理可以提高多语言语言模型的跨语言迁移能力，在四个下游任务中表现最佳。

Jan, 2024

有限资源下的跨语言句法转移

本文提出了一种简单而有效的方法，可以在没有大量翻译数据的情况下进行跨语言的句法转移，这种方法基于三个步骤：1）推导跨语言单词簇的方法，可用于多语言解析器；2）将目标语言的词汇信息转移到源语言树库；3）将这些步骤与 Rasooli 和 Collins（2015）的密度驱动注释投影方法相结合。该方法在多个语言中实现了针对先前工作的最新进展，在只使用比利时圣经作为翻译数据的情况下，与以前的工作相比，Europarl 语料库的结果表现出额外的提升。最后，作者在通用依赖语料库的 38 个数据集上进行了结果展示。

Oct, 2016

神经机器翻译跨低资源、相关语言的迁移学习

基于 Byte Pair Encoding 的转移学习方法对低资源语言进行神经翻译的改进，提高了翻译的质量。

Aug, 2017

跨语言学习中的转移语言选择

该论文探讨了如何自动选择最佳转移语言作为排名问题，建立模型考虑诸如语言相似性，类型学特性，词汇重叠或可用数据大小等因素以执行这种预测。在代表性 NLP 任务的实验中，我们证明了我们的模型比单一特征的单独考虑的基准线更好地预测良好的转移语言，并了解了哪些特征对每种不同的 NLP 任务是最有信息量的，这可能会为未来的专家选择提供帮助。

May, 2019

零资源环境中跨语言序列标注的模型和数据传递

本文通过实验证明使用高容量多语言语言模型应用于零样本（基于模型的跨语言转移）情况下能够比基于数据转移更好地执行跨语言序列标注，这可能是由于语言使用的重要差异所致。

Oct, 2022