MMJan, 2024

文本分类可增强领域无关的停用词提取

PDF
TL;DR该研究通过使用 MasakhaNEWS、African Stopwords Project 和 MasakhaPOS 数据集，针对九种非洲语言和法语，探讨了文本分类在自然语言处理（NLP）中简化停用词提取的作用。研究结果显示，文本分类能够有效识别领域无关的停用词，成功检测率超过 80％，但由于语言差异，某些语言的检测率较低。此外，研究还发现，尽管超过 40％的停用词在不同新闻类别中都有，但只有不到 15％的停用词是某个特定类别独有的。不常见的停用词为文本增添了深度，但它们是否被归类为停用词则取决于上下文。因此，将统计和语言方法相结合可以创建全面的停用词列表，凸显了我们的混合方法的价值。这项研究提升了非洲语言的自然语言处理，并强调了文本分类在停用词提取中的重要性。
发现论文，激发创造
  • 非洲停用词项目：整理非洲语言的停用词

    该研究的目标是研究非洲语言中的常用词以便进行信息检索和自然语言处理，同时在该研究中介绍十种非洲语言的停用词收集进展以及未来计划。

    Mar, 2023

  • 使用机器学习模型对文本进行分类并确定对话偏移

    该研究旨在使用自然语言特征提取方法在机器学习中，将朴素贝叶斯、逻辑回归和支持向量机等基本模型用于检测讨论线路偏离主题时教师必须介入的情况，从而实现文本分类和语义分析。

    Nov, 2022

  • MasakhaNEWS：面向非洲语言的新闻主题分类

    该论文提出了 MasakhaNEWS 数据集来支持在 16 种非洲语言上的新闻主题分类研究，并探索了多种机器学习方法以支持零样本和少样本学习。通过使用 ChatGPT 等技术实现了在低资源非洲语言中进行新闻主题分类任务，能够在零样本情况下实现平均 F1 得分 70，利用 PET 方法，10 个样本即可实现较好的效果。

    Apr, 2023

  • 探究文本分类器的工作

    通过使用一些新的文本分类方法，我们研究了模型是否真正学习了组合句子的意义，或者仅仅关注一些关键词或词典。我们的结果表明，许多模型仍然只是关注词汇和关键词，因此我们提出了新的正则化技术来防止这种过拟合，并在实验中得到了良好的结果。

    Jan, 2018

  • 改进文本分析和信息检索的 TF-IDF 方法下的马拉地语停用词筛选

    我们研究了停用词在马拉地语中的应用，使用 MahaCorpus 数据集中的 2400 万个句子，结合 TF-IDF 方法和人工评估，筛选出具有强大效果的 400 个停用词，并将其应用于文本分类任务。该研究还提出了在资源有限的语言中进行停用词筛选的简单方法。停用词已集成到 mahaNLP 库中，并在此 https URL 上公开提供。

    Jun, 2024

  • 使用带或不带停用词移除的术语加权方法对阿拉伯文本分类的影响

    比较了二进制和词频特征加权方法在文本分类中的效果，结果表明，在去除停用词的情况下，词频特征加权方法在准确率、召回率和 F-Measure 方面优于二进制方法，而在精确率方面两种方法的结果非常相似。此外，数据还清楚地表明，使用相同的短语加权方法，去除停用词可以提高分类准确性。

    Feb, 2024

  • Izindaba-Tindzaba：针对 Zulu 语和 Siswati 语的长文本和短文本机器学习新闻分类

    这项研究旨在为南非的 isiZulu 和 Siswati 本土语言创建大规模数据集，通过使用四种分类模型和三种单词嵌入方法，分类结果表明，XGBoost、逻辑回归和 LSTM 的 Word2vec 训练表现最佳。

    Jun, 2023

  • 一个阿姆哈拉语新闻文本分类数据集

    研究介绍了一个由超过 50,000 篇新闻文章组成、分为 6 类的阿姆哈拉文本分类数据集，并提供基准性能以促进相关研究和实验的实施。

    Mar, 2021

  • 处理软件工程文档所需的停用词：它们很重要吗？

    探讨在软件工程背景下，使用领域特定的停用词表是否可以提高自然语言处理中停用词去除方法的性能表现，并在相关工作的基础上复制实验了三个软件工程研究工具。结果表明，使用领域特定的停用词可以显著提高研究工具的性能，并且 17 个评估指标都显示出更好的性能。

    Mar, 2023

  • 结合计数过程和分类技术，改进技术辅助审阅的终止规则

    利用文本分类器推导信息，扩展了一种有效的停止规则，可以在多个数据集上提高性能并优于其他方法。

    Dec, 2023