Mar, 2023

适应低资源双重限制：研究在非洲低资源语言中使用低计算方法

HTML
PDF
TL;DR通过对非洲语言NLP的低成本实验，我们评估了语言适配器的效果，并发现它们可以在仅使用免费计算资源的情况下与计算资源密集型的大规模预训练语言模型相媲美，从而打开了进一步实验和探索的可能。
发现论文，激发创造
  • 结合预训练的高资源嵌入和子词表示用于低资源语言

    研究了利用字根丰富的语言和预训练字向量相结合的方法，来提高低资源非洲语言的自然语言处理精度并在Xhosa-英语翻译任务中取得了最佳表现。

    Mar, 2020

  • 非资源语言机器翻译的参与式研究：非洲语言案例研究

    本文探讨了如何利用参与性研究，将机器翻译(MT)技术应用于非洲语言，以解决NLP在地理分布上欠缺多样性并实现NLP的规模化问题。我们提出了一种可行性高并可扩展的情境下的参与式研究方案，其使非专业人员也能对MT技术的开发做出独特的科学贡献，并制定了适用于30多种语言的MT基准。

    Oct, 2020

  • 多语言Transformer模型的远程监督和迁移学习：关于非洲语言的研究

    研究了不同数量可用资源的情况下，对三种非洲语言 Hausa，isiXhosa 和 Yoruba 进行 NER 和主题分类的表现趋势，并通过远距离监督和迁移学习等方法，使用少量的标注数据达到与基线相同的性能，揭示了低资源学习中存在的挑战和机会。

    Oct, 2020

  • 南非语言低资源语言建模

    本文通过研究对南非低资源语言的开放词汇语言模型的表现来评估不同变种的N元模型、前馈神经网络、循环神经网络和Transformers网络。这项研究有望为非洲语言的多语种和低资源语言建模开辟新的研究途径。

    Apr, 2021

  • 低资源双重限制：一项关于剪枝用于低资源机器翻译的实证研究

    本研究探讨了在数据受限制的情况下使用压缩技术的影响，以及使用magnitude pruning的机器翻译任务中，在低资源情况下尽量保留性能的方法（使用稀疏性来避免Memorization of low frequency attributes)。

    Oct, 2021

  • 通过多语言自适应微调将预训练语言模型改进到非洲语言

    本文通过多语言自适应微调方法，改进了前馈神经网络(AfriBERTa和XLM-R)模型，使其适配17种最常用的非洲语言及其他3种在非洲大陆广泛使用的高资源语言，在NER、新闻主题分类和情感分类等自然语言处理任务中具有竞争性，且需要的磁盘空间明显少于单个语言的自适应微调方法。同时，本文的适配模型还能够改善参数效率微调方法的零-shot跨语言转移能力。

    Apr, 2022

  • adaptMLLM: 在低资源语言上使用集成LLM沙盒的多语言语言模型的微调

    通过开发 adaptMLLM，我们针对机器翻译开发了一个开放源代码应用程序，旨在解决多语言语言模型在低资源语言中开发高质量机器翻译输出方面的问题，并提供易于定制的界面以及各种模型评估指标和在应用程序中直接部署模型作为翻译服务的能力。

    Mar, 2024

  • 针对低资源语言家族的定向多语言适应

    对于低资源语言，通过针对性的多语言训练，依照乌拉尔语系为案例进行调整，通过实验证明适应性的词汇大小对于低资源语言的影响相对较小，低资源语言在训练阶段能够进行积极采样而对高资源语言的性能影响微乎其微，从而为特定语境中的语言适应性提供了新的最佳实践。

    May, 2024

  • IrokoBench：大型语言模型时代的非洲语言新基准

    本研究使用 IrokoBench 数据集对低资源的非洲语言进行了零样本学习、少样本学习和翻译测试，并发现了高资源语言和低资源非洲语言之间的显著性能差距。机器翻译测试集从而改善了一些以英语为中心的大型模型的表现，结果表明需要更多的努力来开发和适应非洲语言的大型语言模型。

    Jun, 2024

  • 低资源语言的芝诺悖论

    本研究探讨了自然语言处理领域中“低资源语言”的定义不明确的问题，分析了150篇相关论文以揭示影响语言低资源性的多个交互因素。通过提出更清晰的术语定义和分类框架，本研究为日后跟踪各语言的进展提供了理论基础。

    Oct, 2024