ICLRMar, 2023

非洲停用词项目：整理非洲语言的停用词

PDF
TL;DR该研究的目标是研究非洲语言中的常用词以便进行信息检索和自然语言处理，同时在该研究中介绍十种非洲语言的停用词收集进展以及未来计划。
stopwordsnatural language processingafrican languagesinformation retrievaltext data
发现论文，激发创造
  • 文本分类可增强领域无关的停用词提取

    该研究通过使用 MasakhaNEWS、African Stopwords Project 和 MasakhaPOS 数据集，针对九种非洲语言和法语，探讨了文本分类在自然语言处理（NLP）中简化停用词提取的作用。研究结果显示，文本分类能够有效识别领域无关的停用词，成功检测率超过 80％，但由于语言差异，某些语言的检测率较低。此外，研究还发现，尽管超过 40％的停用词在不同新闻类别中都有，但只有不到 15％的停用词是某个特定类别独有的。不常见的停用词为文本增添了深度，但它们是否被归类为停用词则取决于上下文。因此，将统计和语言方法相结合可以创建全面的停用词列表，凸显了我们的混合方法的价值。这项研究提升了非洲语言的自然语言处理，并强调了文本分类在停用词提取中的重要性。

    Jan, 2024

  • 改进文本分析和信息检索的 TF-IDF 方法下的马拉地语停用词筛选

    我们研究了停用词在马拉地语中的应用，使用 MahaCorpus 数据集中的 2400 万个句子，结合 TF-IDF 方法和人工评估，筛选出具有强大效果的 400 个停用词，并将其应用于文本分类任务。该研究还提出了在资源有限的语言中进行停用词筛选的简单方法。停用词已集成到 mahaNLP 库中，并在此 https URL 上公开提供。

    Jun, 2024

  • 技术语言处理中的停用词

    本文探讨了在工程应用中，自然语言处理技术在信息检索，索引和主题建模中的应用。 作者在此之上介绍了如何挑选出技术语言处理应用中的无意义单词，并编制出一个可供使用的停用词列表。

    Jun, 2020

  • Setswana 和 Sepedi 的低资源语言数据集创建、筛选和分类 -- 扩展摘要

    研究了自然语言处理技术在低资源语言中的应用，提出了用于塞茨瓦纳语和塞班语头条新闻的数据集及其用于新闻主题分类的基线模型，并探索了一种适合低资源语言的数据增强方法以提高分类器性能。

    Mar, 2020

  • 处理软件工程文档所需的停用词：它们很重要吗？

    探讨在软件工程背景下，使用领域特定的停用词表是否可以提高自然语言处理中停用词去除方法的性能表现，并在相关工作的基础上复制实验了三个软件工程研究工具。结果表明，使用领域特定的停用词可以显著提高研究工具的性能，并且 17 个评估指标都显示出更好的性能。

    Mar, 2023

  • 非洲语言词典和平行数据集的协同构建：初步评估

    该研究报告介绍了 NTeALan 协会在非洲语言处理中建立开源平台协作构建词典数据等资源的最新成果。

    Mar, 2021

  • 跨低资源非洲语言引导 NLP 工具：概述及前瞻

    总结南部非洲原生非洲语言的自举技术，其中包括使用语法和基于规则的自然语言生成，以及使用比较语言学中的类似度措施，这是进一步研究的肥沃领域。

    Oct, 2022

  • 面向非洲语言的非洲中心化 NLP：现状与未来

    本文探讨了发展面向非洲语言的自然语言处理技术所面临的主要语言学和社会政治挑战，提出了基于非洲中心主义的技术开发思路和建议，并介绍了当前的研究、社区、数据集和工具。

    Mar, 2022

  • 乌兹别克语停用词检测精度：以 “学校语料库” 为例的案例研究

    本文介绍了一种用于评估停用词列表质量的方法，以自动创建技术。该方法在乌兹别克语的自动生成停用词列表上进行了测试，可以应用于相似语言。

    Sep, 2022

  • 研究低资源语言数据集的创建、整理和分类方法：塞茨瓦纳语和塞彭迪语

    该研究主要介绍了如何创建用于塞茨瓦纳语和塞班语的新闻标题数据集，并探讨了数据增强等方法来提高分类器性能。

    Feb, 2020