Jan, 2023

通过多语言微调和持续预训练为新的欠资源语言调整多语音表示模型

PDF
TL;DR本研究尝试将预训练的多语言 wav2vec 2.0 神经模型应用于研究极度濒危的阿伊努语，通过多语言微调和预训练对模型进行改进，结果显示继续预训练是适应新语言的最有效方法，并且利用类似语言的数据进行微调可以显著减少错误率。
neural modelsself-supervised pretrainingmultilingual wav2vec 2.0 modeladaptation for endangered ainu languagemultilingual fine-tuning
发现论文，激发创造
  • 使用预训练模型的自适应多语言语音识别

    使用预训练的 wav2vec 2.0 和 MBART50 模型，结合自适应权重技术，显著提高公共数据集上多语言语音识别的准确性，比纯监督学习提高 44%。同时我们还探索了如何通过微调结构以获得最佳模型。

    May, 2022

  • LlamaTurk：为低资源语言适应开源生成型大语言模型

    通过对英语为主的生成大语言模型进行调整，以适应资源匮乏的语言，并评估了不同的策略，包括持续训练、指导微调、任务特定微调和词汇扩展。结果表明，持续训练改进了语言理解能力，任务特定微调一般提高了下游任务的性能，但扩展词汇未带来实质性的益处。此外，在适应时，较大的模型通过少样本微调可以提高任务性能，而多语言模型在适应时表现不如单语言模型。

    May, 2024

  • 基于适配器的预训练方法用于高效可扩展的自监督语音表征学习

    本文介绍了一种方法，可以将预先训练的自我监督（SSL）语音表示转移到多种语言中，使用适配器模块加快新语言任务的预训练，并在不遗忘先前语言表示的情况下学习新的音频 - 语言表示，然后应用这些语言表示进行自动语音识别。

    Jul, 2021

  • 多语言自监督和弱监督语音预训练与适应未见语言的比较

    本文研究了两个多语言语音模型在适应未见语言上的性能比较，发现模型的预训练数据中包含的语言家族数量和训练时长能预测模型的表现，与预训练方法的差异不相关。

    May, 2023

  • 多语言神经机器翻译的语言家族适配器

    本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

    Sep, 2022

  • 可扩展的跨语言预训练和微调技术实现多语言翻译

    本文证明多语言预训练可以通过多语言微调来创建多语言翻译模型，并且证明在不失性能的前提下，预训练模型可以扩展到更多语言。此外，作者基于 ML50 数据集表明，多语言微调相较于其他训练方式有显著提升。

    Aug, 2020

  • MultiFiT：高效的多语言语言模型微调

    本研究提出了 Multi-lingual language model Fine-Tuning (MultiFiT) 方法，使得从未标注的数据中有效地训练和优化预训练语言模型，特别对于低资源性语言，实现了零样本跨语言模型，并在两个跨语言分类数据集中优于那些使用更多数据和计算的预训练模型。

    Sep, 2019

  • 多语言自学习语音表示改进资源有限的非洲语种混杂语音识别

    利用自监督语音表示的微调和利用转录训练的 n-gram 语言模型增强多语言表示，相对于从头开始训练的混合模型，将代码切换数据的绝对词错误率降低了高达 20%。研究结果表明，在训练数据受限的情况下，微调自监督表示是一种更优秀和可行的解决方案。

    Nov, 2023

  • 针对低资源语言家族的定向多语言适应

    对于低资源语言，通过针对性的多语言训练，依照乌拉尔语系为案例进行调整，通过实验证明适应性的词汇大小对于低资源语言的影响相对较小，低资源语言在训练阶段能够进行积极采样而对高资源语言的性能影响微乎其微，从而为特定语境中的语言适应性提供了新的最佳实践。

    May, 2024

  • 基于系统发育的多语种模型自适应到新语言

    本研究展示了如何利用语言的亲缘关系信息，以结构化、基于语言学的方式改进跨语言转移，并在多个语言家族（如日耳曼语族、乌拉尔语族、托皮语族和乌托邦 - 阿兹特克语族）上进行适配器训练，在句法和语义任务上实现相对性能提升超过 20%，特别是在没有预先训练的语言上。

    May, 2022