ACLMay, 2022

利用预训练模型进行非洲新闻翻译：几千个翻译蓝本助力一步到位

PDF
TL;DR本研究探讨了如何使用预先训练的大型模型来创建 16 种非洲语言的低资源翻译系统，并发现对于转化到新领域和语言的最有效策略是在高质量翻译数据上微调预先训练好的大型模型。
pre-traininglanguage modelslow-resource languagestranslation systemsfine-tuning
发现论文，激发创造
  • 从英语到外语：迁移预训练语言模型

    本文介绍一种在有限计算预算下将英文预训练模型转移到其他语言的方法，使用单个 GPU，一天内可以获得一种新的外语 BERT 基础模型，并在六种语言上展示该方法在零样本任务上比多语言 BERT 更为有效的结果。

    Feb, 2020

  • LlamaTurk：为低资源语言适应开源生成型大语言模型

    通过对英语为主的生成大语言模型进行调整，以适应资源匮乏的语言，并评估了不同的策略，包括持续训练、指导微调、任务特定微调和词汇扩展。结果表明，持续训练改进了语言理解能力，任务特定微调一般提高了下游任务的性能，但扩展词汇未带来实质性的益处。此外，在适应时，较大的模型通过少样本微调可以提高任务性能，而多语言模型在适应时表现不如单语言模型。

    May, 2024

  • 商用大型语言模型在非洲语言上的表现如何？

    本论文研究了商用大型语言模型在非洲语言的表现，发现这些模型在非洲语言中的机器翻译表现不如文本分类，并呼吁开发商要加入非洲语言以提高其表现。

    May, 2023

  • 通过持续预训练和字典学习分析改进使用翻译数据训练的语言模型

    利用机器翻译从英语训练 LLMs 在低资源语言中通常会带来翻译的挑战，然而我们研究了机器翻译和合成数据在训练语言模型中的作用，并通过案例研究展示了改进的效果。

    May, 2024

  • 多语言到英语机器翻译工具、数据和预训练模型

    本文提出三种工具：MTData、NLCodec 和 RTG，设计一个能够从 500 种源语言翻译成英语的多语言神经机器翻译模型，支持语言种类很多，且模型容易下载和使用。

    Apr, 2021

  • 多语言 Transformer 模型的远程监督和迁移学习：关于非洲语言的研究

    研究了不同数量可用资源的情况下，对三种非洲语言 Hausa，isiXhosa 和 Yoruba 进行 NER 和主题分类的表现趋势，并通过远距离监督和迁移学习等方法，使用少量的标注数据达到与基线相同的性能，揭示了低资源学习中存在的挑战和机会。

    Oct, 2020

  • 用于南非语言的神经机器翻译基准测试

    该研究使用公共数据集为 5 种南非语言训练了神经机器翻译模型，并提供了训练和评估模型的代码，旨在促进南非语言领域的未来研究。

    Jun, 2019

  • 在低资源环境下利用翻译进行语音转录

    研究对濒危语言的数据采集，利用多源神经网络模型和翻译，成功提高了转录质量。

    Mar, 2018

  • SemEval-2023 任务 12：通过多语言预训练语言模型微调实现低资源语言文本分类

    本研究利用多种多语种 XLM-R 模型和多样数据集，针对 AfriSenti-SemEval 2023 共享任务 12 的非洲语言情感分析模型进行了研究，最终在 Subtask B, Track 16: 多语言中获得了第三名的好成绩，但在某些语言表现不佳，表明需要建立更全面的数据集和模型来推进低资源非洲语言的情感分析研究。

    May, 2023

  • AfroMT: 非洲 8 种语言翻译的预训练策略和可重现基准

    我们提出了 AfroMT，这是一个针对非洲 8 种使用广泛、标准、干净和可重现的机器翻译基准，并开发了诊断系统的一套分析工具，探讨了低资源预训练的可能性，提出了两种基于数据增强的策略，并展示了在 11 种语言预训练的情况下，数据受限情况下比跨语言转移基线提高了 12 BLEU 分数的结果。

    Sep, 2021