Oct, 2023

PuoBERTa：Setswana 语言模型的训练与评估

PDF
TL;DR本文介绍了针对塞茨瓦纳语定制的屏蔽语言模型 PuoBERTa，通过收集、整理和准备各种单语文本构建了高质量的语料库用于 PuoBERTa 的训练，评估了其在多个 NLP 任务中的效果，包括词性标注、命名实体识别和新闻分类，并引入了一个新的塞茨瓦纳语新闻分类数据集，初步展示了 PuoBERTa 的性能，为进一步的研究方向铺平了道路，证明了 PuoBERTa 在塞茨瓦纳语等少研究语言的 NLP 能力。
natural language processinglow-resource languagessetswanapuobertanlp tasks
发现论文，激发创造
  • Setswana 和 Sepedi 的低资源语言数据集创建、筛选和分类 -- 扩展摘要

    研究了自然语言处理技术在低资源语言中的应用，提出了用于塞茨瓦纳语和塞班语头条新闻的数据集及其用于新闻主题分类的基线模型，并探索了一种适合低资源语言的数据增强方法以提高分类器性能。

    Mar, 2020

  • 研究低资源语言数据集的创建、整理和分类方法：塞茨瓦纳语和塞彭迪语

    该研究主要介绍了如何创建用于塞茨瓦纳语和塞班语的新闻标题数据集，并探讨了数据增强等方法来提高分类器性能。

    Feb, 2020

  • Sabiá：葡萄牙语大语言模型

    在这篇论文中，我们证明了在目标语言上进行单语言预训练可以显著提高已经广泛训练于多个语料库的模型，并在 14 个葡萄牙语数据集上表现优于基于英语和多语言模型的模型。我们的结果表明，从单语预训练获得的大多数收益来自于领域特定知识。

    Apr, 2023

  • 南非语言低资源语言建模

    本文通过研究对南非低资源语言的开放词汇语言模型的表现来评估不同变种的 N 元模型、前馈神经网络、循环神经网络和 Transformers 网络。这项研究有望为非洲语言的多语种和低资源语言建模开辟新的研究途径。

    Apr, 2021

  • WaBERT：用于口语理解和语音到 BERT 对齐的低资源端到端模型

    本文提出了一种新颖的 Wave BERT（WaBERT）端到端模型，将语音模型和语言模型相结合，以用于口语理解任务，提高了语音特定信息和语言知识在短时间和低资源训练过程中的整合，从而在 SLUE SA 任务的开发数据集上将召回得分提高了 1.15％，F1 得分提高了 0.82％，此外还修改了序列连续整合和放电（CIF）机制，以实现语音和文本模态之间的单调对齐。

    Apr, 2022

  • 在瑞典国家图书馆玩弄文字 —— 打造瑞典 BERT

    本文介绍了由 KBLab 开发的瑞典 BERT（“KB-BERT”），并对其进行了性能比较，证明其在命名实体识别和词性标注等自然语言处理任务中的表现优于瑞典公共就业服务的 BERT 和 Google 的多语言 M-BERT。我们释放了我们的模型进行进一步的探索和研究。

    Jul, 2020

  • RobBERT: 一种基于 RoBERTa 的荷兰语言模型

    本研究使用 RobBERT 作为荷兰语预训练模型，对各种任务的执行效果进行了测量，包括用于微调的数据集规模的重要性以及模型的公平性。研究发现，RobBERT 在各种任务上都可以提供良好的性能，并且在处理较小的数据集时明显优于其他模型，这表明它是适用于多种荷兰语任务的功能强大的预训练模型。

    Jan, 2020

  • FinEst BERT 和 CroSloEngual BERT: 在多语言模型中，少即是多

    本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。

    Jun, 2020

  • 西班牙语语言模型评估中得到的经验教训

    本文提供了一份全面的研究报告，比较了用于西班牙语的语言模型，报告显示：先前被忽略的大型跨语言模型比单语模型表现更好，单语模型的结果并不是确定性的，需要进一步研究语料库大小、质量和预训练技术等因素。

    Dec, 2022

  • Twi 的上下文文本嵌入

    本研究提出了第一例为 Twi 或 Akan 开发的预训练变压器语言模型，为命名实体识别、神经机器翻译、情感分析和词性标注等应用领域的进展铺平了道路。通过 ABENA 和 BAKO 等四种不同类型的 BERT 模型，此项研究对 Akuapem 和 Asante 方言的 Twi 语言进行预训练，并通过简单的情感分类示例来展示其使用和开源模型的 Hugging Face 模型库。

    Mar, 2021