Feb, 2020

研究低资源语言数据集的创建、整理和分类方法：塞茨瓦纳语和塞彭迪语

PDF
TL;DR该研究主要介绍了如何创建用于塞茨瓦纳语和塞班语的新闻标题数据集，并探讨了数据增强等方法来提高分类器性能。
natural language processinglow-resourced languagesdatasetsnews topic classificationdata augmentation
发现论文，激发创造
  • Setswana 和 Sepedi 的低资源语言数据集创建、筛选和分类 -- 扩展摘要

    研究了自然语言处理技术在低资源语言中的应用，提出了用于塞茨瓦纳语和塞班语头条新闻的数据集及其用于新闻主题分类的基线模型，并探索了一种适合低资源语言的数据增强方法以提高分类器性能。

    Mar, 2020

  • Izindaba-Tindzaba：针对 Zulu 语和 Siswati 语的长文本和短文本机器学习新闻分类

    这项研究旨在为南非的 isiZulu 和 Siswati 本土语言创建大规模数据集，通过使用四种分类模型和三种单词嵌入方法，分类结果表明，XGBoost、逻辑回归和 LSTM 的 Word2vec 训练表现最佳。

    Jun, 2023

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • 南非语言低资源语言建模

    本文通过研究对南非低资源语言的开放词汇语言模型的表现来评估不同变种的 N 元模型、前馈神经网络、循环神经网络和 Transformers 网络。这项研究有望为非洲语言的多语种和低资源语言建模开辟新的研究途径。

    Apr, 2021

  • 构建和扩展印尼本地语言的低资源和代表性平行数据集

    介绍了 Bhinneka Korpus 这一多语种并行语料库，以增强印度尼西亚当地语言资源的获取和利用，并通过 IBM 模型 1 实验表明该语料库在进一步发展低资源语言的高级 NLP 技术和多语种翻译模型方面显示出良好的性能。

    Apr, 2024

  • SemEval-2023 任务 12：通过多语言预训练语言模型微调实现低资源语言文本分类

    本研究利用多种多语种 XLM-R 模型和多样数据集，针对 AfriSenti-SemEval 2023 共享任务 12 的非洲语言情感分析模型进行了研究，最终在 Subtask B, Track 16: 多语言中获得了第三名的好成绩，但在某些语言表现不佳，表明需要建立更全面的数据集和模型来推进低资源非洲语言的情感分析研究。

    May, 2023

  • NLNDE at SemEval-2023 Task 12: 低资源多语言情感分析的自适应预训练和源语言选择

    通过利用语言自适应和任务自适应的预训练模型，本文针对非洲语言低资源性情感分析问题的特点，研究了基于预训练的语言模型的迁移学习方法，并发现将预训练模型适应到目标语言和任务上可以显著提高模型表现，选择具有积极转移增益的源语言可以避免干扰，这在多语言和跨语言设置中可以取得更好的结果。

    Apr, 2023

  • 跨语言数据集构建与必要资源的综述

    该研究旨在量化语言资源之间的不平等性，并提出一些方法来改善低资源语言的数据收集，以促进未来的多语言数据发展。

    Nov, 2022

  • PuoBERTa：Setswana 语言模型的训练与评估

    本文介绍了针对塞茨瓦纳语定制的屏蔽语言模型 PuoBERTa，通过收集、整理和准备各种单语文本构建了高质量的语料库用于 PuoBERTa 的训练，评估了其在多个 NLP 任务中的效果，包括词性标注、命名实体识别和新闻分类，并引入了一个新的塞茨瓦纳语新闻分类数据集，初步展示了 PuoBERTa 的性能，为进一步的研究方向铺平了道路，证明了 PuoBERTa 在塞茨瓦纳语等少研究语言的 NLP 能力。

    Oct, 2023

  • 低资源场景下自然语言处理的最近方法综述

    本文调查了低资源自然语言处理的相关方法，其中包括数据增强、遥感监视和迁移学习等技术以帮助在需要训练数据较少的情况下提高神经模型的性能，并通过说明这些方法的差异帮助选择适合特定低资源设置的技术。

    Oct, 2020