Jun, 2024

改进文本分析和信息检索的 TF-IDF 方法下的马拉地语停用词筛选

PDF
TL;DR我们研究了停用词在马拉地语中的应用，使用 MahaCorpus 数据集中的 2400 万个句子，结合 TF-IDF 方法和人工评估，筛选出具有强大效果的 400 个停用词，并将其应用于文本分类任务。该研究还提出了在资源有限的语言中进行停用词筛选的简单方法。停用词已集成到 mahaNLP 库中，并在此 https URL 上公开提供。
发现论文，激发创造
  • 非洲停用词项目：整理非洲语言的停用词

    该研究的目标是研究非洲语言中的常用词以便进行信息检索和自然语言处理，同时在该研究中介绍十种非洲语言的停用词收集进展以及未来计划。

    Mar, 2023

  • 文本分类可增强领域无关的停用词提取

    该研究通过使用 MasakhaNEWS、African Stopwords Project 和 MasakhaPOS 数据集，针对九种非洲语言和法语，探讨了文本分类在自然语言处理（NLP）中简化停用词提取的作用。研究结果显示，文本分类能够有效识别领域无关的停用词，成功检测率超过 80％，但由于语言差异，某些语言的检测率较低。此外，研究还发现，尽管超过 40％的停用词在不同新闻类别中都有，但只有不到 15％的停用词是某个特定类别独有的。不常见的停用词为文本增添了深度，但它们是否被归类为停用词则取决于上下文。因此，将统计和语言方法相结合可以创建全面的停用词列表，凸显了我们的混合方法的价值。这项研究提升了非洲语言的自然语言处理，并强调了文本分类在停用词提取中的重要性。

    Jan, 2024

  • 通过递归和迭代删除量化停用词生成情感分析

    本文提出了一种量化的方法，通过迭代和递归的特征删除算法确定哪些单词可以从经过预训练的变压器词汇表中删除，以在情感分析任务中最小化其性能降级，实验证明通过这种方法生成的停用词列表可以大幅降低数据集的大小，而对模型性能的影响微不足道，因此可以为特定的自然语言处理任务生成高效的停用词集。

    Sep, 2022

  • 技术语言处理中的停用词

    本文探讨了在工程应用中，自然语言处理技术在信息检索，索引和主题建模中的应用。 作者在此之上介绍了如何挑选出技术语言处理应用中的无意义单词，并编制出一个可供使用的停用词列表。

    Jun, 2020

  • 使用 Subword TF-IDF 进行多语言搜索

    采用子词标记化方法可以实现多语言检索，采用 STF-IDF 方法可以在不依赖启发式预处理的情况下提高信息检索精度，Text2Text 软件开源，可用于多种语言的信息检索。

    Sep, 2022

  • 使用带或不带停用词移除的术语加权方法对阿拉伯文本分类的影响

    比较了二进制和词频特征加权方法在文本分类中的效果，结果表明，在去除停用词的情况下，词频特征加权方法在准确率、召回率和 F-Measure 方面优于二进制方法，而在精确率方面两种方法的结果非常相似。此外，数据还清楚地表明，使用相同的短语加权方法，去除停用词可以提高分类准确性。

    Feb, 2024

  • 处理软件工程文档所需的停用词：它们很重要吗？

    探讨在软件工程背景下，使用领域特定的停用词表是否可以提高自然语言处理中停用词去除方法的性能表现，并在相关工作的基础上复制实验了三个软件工程研究工具。结果表明，使用领域特定的停用词可以显著提高研究工具的性能，并且 17 个评估指标都显示出更好的性能。

    Mar, 2023

  • 乌兹别克语停用词检测精度：以 “学校语料库” 为例的案例研究

    本文介绍了一种用于评估停用词列表质量的方法，以自动创建技术。该方法在乌兹别克语的自动生成停用词列表上进行了测试，可以应用于相似语言。

    Sep, 2022

  • 使用统计方法开发马拉地语词性标注器

    本文介绍了一种基于统计模型的马拉地语词性标注器的开发方法，使用 Unigram、Bigram、Trigram 和 HMM 方法，以 77.38％、90.30％、91.46％和 93.82％的准确率作为评估指标，并提出了一个用于标记马拉地文本的标记集。

    Oct, 2013

  • 低资源印度语言马拉地问题回答的深度学习

    使用不同的 Transformer 模型，我们创建了一个基于阅读理解的马拉提语问答系统，并在马拉提语阅读理解数据集上通过对 MuRIL 多语言模型进行微调，获得了最佳准确性，EM 得分为 0.64，F1 得分为 0.74。

    Sep, 2023