Jul, 2022

NusaCrowd：印尼语言开放可重复的自然语言处理研究的呼声

PDF
TL;DR本研究旨在探讨印度尼西亚自然语言处理领域的数据稀缺问题，并提出了一种名为 NusaCrowd 的众包方法，通过聚合印尼语系的数据资源来加强该领域的研究。
indonesian natural language processingdata scarcitynusacrowdcrowdsourcingindonesian nlp resources
发现论文，激发创造
  • NusaCrowd：印尼自然语言处理资源的开源计划

    NusaCrowd 是一个协作平台，致力于收集和整合印尼语言资源，提高印尼语言自然语言处理和自然语言生成的效果，并创立了印尼语言的零 - shot 基准测试和多语言自动语音识别评测。

    Dec, 2022

  • NusaX：10 种印度尼西亚本地语言的多语言并行情感数据集

    本文介绍了针对印度尼西亚低资源语言的第一次并行资源开发，包括数据集、多任务基准、词汇表和印度尼西亚 - 英文平行数据集，并描述了创建这些资源的挑战。该研究的目的是激发有关印度尼西亚和其他代表性不足语言的自然语言处理研究。

    May, 2022

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • 构建和扩展印尼本地语言的低资源和代表性平行数据集

    介绍了 Bhinneka Korpus 这一多语种并行语料库，以增强印度尼西亚当地语言资源的获取和利用，并通过 IBM 模型 1 实验表明该语料库在进一步发展低资源语言的高级 NLP 技术和多语种翻译模型方面显示出良好的性能。

    Apr, 2024

  • 一个国家，700 + 种语言：印度尼西亚少数语言与方言的 NLP 挑战

    该研究提供了关于印度尼西亚 700 多种语言的 NLP 研究现状的概述，突出了印尼 NLP 面临的挑战以及这些挑战如何影响当前 NLP 系统的性能。最后，我们提供一些推荐来发展印尼和其他语言的 NLP 技术。

    Mar, 2022

  • IndoNLU: 评估印度尼西亚语自然语言理解的基准和资源

    本研究引入了印度尼西亚自然语言理解（IndoNLU）任务的第一个巨大资源及其预训练模型 IndoBERT，包括从单句分类到对句子序列标记的 12 个任务，并提供了基准模型和评估框架以使每个人都能评估自己的系统性能。

    Sep, 2020

  • 适用于印度尼西亚本地语言的基于位置的 Twitter 过滤器，用于创建低资源语言数据集

    本文研究了推特上少数语言数据的应用，针对印尼地方语言的本土化问题，提出了一个基于地理信息自动标注的本地化 Indonesian NLP 框架。

    Jun, 2022

  • IndoNLI：一个印尼自然语言推理数据集

    我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

    Oct, 2021

  • 印度尼西亚语自然语言处理技术（NLP）的历史与发展：印度尼西亚语 NLP 技术、应用及发展的综述

    论文概述自然语言处理在印度尼西亚语境下的发展历史，着重研究基本技术、方法和实际应用，包括词干提取、词性标注、情感分析、跨语言信息检索系统、信息提取以及统计机器翻译等，同时探讨了自然语言处理在印度尼西亚语产业和研究中的应用及挑战，提出了未来研究方向和发展建议。

    Mar, 2023

  • SEACrowd: 东南亚语言的多语言多模态数据中心和基准套件

    东南亚 (SEA) 是一个语言多样性和文化多样性丰富的地区，拥有 1300 多种土著语言和 6.71 亿人口。然而，现有的人工智能模型在表示东南亚语言的文本、图像和音频数据方面存在显著的不足，损害了东南亚语言的人工智能模型的质量。为了应对这些挑战，我们介绍了 SEACrowd，这是一个协作倡议，它整合了一个全面的资源中心，通过提供近 1000 种东南亚语言的标准化语料库来填补资源缺口。通过我们的 SEACrowd 基准测试，我们评估了 36 种土著语言在 13 个任务上的人工智能模型的质量，为东南亚当前的人工智能发展提供了有价值的见解。此外，我们提出了促进更大的人工智能进展的策略，最大限度地发挥人工智能在东南亚的潜在效用和资源平等性。

    Jun, 2024