ACLMay, 2021

在语言相似度高的情况下适应单语模型：数据匮乏的问题

PDF
TL;DR本篇论文重点研究了如何使用尽可能少的数据实现零 - shot 迁移学习，并探讨了语言相似度在该过程中的影响。研究人员利用两种低语言资源语言重新训练了四个基于 BERT 的模型的词汇层，同时对模型的源语言进行了独立的 POS 标记任务的微调。研究结果发现，通过将新的词汇层和微调后的 Transformer 层相结合，即使在仅有 10MB 的数据的情况下，也能显著提高两种目标语言任务的性能。值得注意的是，在目标语言被包含在多语言模型中时，单语 BERT-based 模型在重新训练词汇层后的下游任务表现要高于多语 BERT。
zero-shot transfer learninglow-resource languagesbert-based modellexical layer retraininglanguage similarity
发现论文，激发创造
  • 从零到英雄：多语言 Transformer 的零 - shot 跨语言转移限制

    分析了 massively multilingual transformers 在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的 few-shot transfer 在多语言转换中十分有效。

    May, 2020

  • 利用迁移学习改进波兰语到英语神经机器翻译：数据量和语言相似性的影响

    本研究探讨了数据量和使用类似语言对于机器翻译任务中的迁移学习的影响，研究发现，在迁移学习中，拥有更多的数据通常会导致更好的性能，然而，相关语言在特定语言对的数据有限时也可以特别有效，最终通过使用 OPUS-100 数据集对 mBART 模型进行微调来证明结果。实验表明，相关语言和更多的数据的组合比单独使用两者能够更好的提高模型性能，同时还表明了相关语言在零样本和小样本时的重要性。

    Jun, 2023

  • 跨语言迁移的模型选择

    本论文展示了在辅助支点语言中提供少量注释数据可以更好地选择用于零 - shot 跨语言迁移的 fine-tuned models，并提出一种基于机器学习的方法用于模型选择，该方法使用 fine-tuned 模型的内部表示来预测其跨语言能力。在广泛的实验中，我们发现这种方法比使用英文验证数据一直可以跨越二十五种语言（包括八种低资源语言）选择更好的模型，并且通常可以达到使用目标语言开发数据进行模型选择的结果

    Oct, 2020

  • 利用词汇相似性实现极低资源语言的零 - shot 机器翻译

    本篇论文讨论了如何利用字符噪声注入方法，将近乎无资源语言翻译成英文，使其更能够适应高资源语言，并在多种语言家族的紧密相关语言对中得到了显著的优异表现。

    May, 2023

  • 将高资源 NMT 模型应用于低资源相关语言的翻译，不需要平行数据

    本论文研究如何使用语言重叠来进行翻译，在仅有少量单语数据的情况下，结合去噪自编码、回译和对抗性目标，提出了一种名为 NMT-Adapt 的方法，实现了对低资源语言的翻译的提高。

    May, 2021

  • 利用词汇匹配从高资源语言传递 BERT 的能力到低资源语言

    通过词汇匹配，将 BERT 的能力从高资源语言转移到低资源语言，以改善 BERT 模型在低资源语言上的性能，从而使得高级语言理解模型更加普及化。

    Feb, 2024

  • 无平行语料的零样本跨语言迁移

    通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

    Oct, 2023

  • 低资源语言中使用多语情感词典的零样本情感分析

    通过使用多语种词典进行预训练，本文在低资源语言中增强了多语种语言模型的功能，在 34 种语言中进行了零样本情感分析任务，包括 6 种高 / 中资源语言，25 种低资源语言和 3 个代码混合数据集。结果显示，使用多语种词典进行预训练能够实现更好的零样本性能，而不使用句级情感数据，相比于基于英文情感数据集和大语言模型如 GPT-3.5，BLOOMZ 和 XGLM 的微调模型。这些发现适用于涉及高资源语言的未知低资源语言到代码混合场景。

    Feb, 2024

  • 多语言语言模型处理新语言的挑战：从 mBERT 不可见开始

    通过比较多语言和单语言模型，本文表明了在大量的原始数据上使用基于预训练语言模型的迁移学习在处理未见过的语言中存在多种行为，其中一些语言能够从迁移学习中受益，而另一些则似乎不行，我们还发现这种无法传递的失败很大程度上与用于书写这些语言的字符的影响有关，转写这些语言可以极大地提高后续任务的大规模多语言语言模型的能力。

    Oct, 2020

  • 重审零样本跨语言转移中英语的首要地位

    本文对于使用不同语言进行零样本跨语言转移的多语言模型进行了研究，发现高资源语言如德语和俄语在多数情况下能够更加有效地进行迁移学习，即使训练集是自动从英语翻译而来。同时，该结论对于多语言零样本系统有着重要影响，并且应该指导未来的基准设计。

    Jun, 2021