stopwords | BriefGPT - AI 论文速递

关键词stopwords

搜索结果 - 6

改进文本分析和信息检索的 TF-IDF 方法下的马拉地语停用词筛选
我们研究了停用词在马拉地语中的应用，使用 MahaCorpus 数据集中的 2400 万个句子，结合 TF-IDF 方法和人工评估，筛选出具有强大效果的 400 个停用词，并将其应用于文本分类任务。该研究还提出了在资源有限的语言中进行停用词
PDF20 days ago
ICLR非洲停用词项目：整理非洲语言的停用词
该研究的目标是研究非洲语言中的常用词以便进行信息检索和自然语言处理，同时在该研究中介绍十种非洲语言的停用词收集进展以及未来计划。
PDFa year ago
通过递归和迭代删除量化停用词生成情感分析
本文提出了一种量化的方法，通过迭代和递归的特征删除算法确定哪些单词可以从经过预训练的变压器词汇表中删除，以在情感分析任务中最小化其性能降级，实验证明通过这种方法生成的停用词列表可以大幅降低数据集的大小，而对模型性能的影响微不足道，因此可以为
PDF2 years ago
MM斯里兰卡 Facebook 十年的僧伽罗语语料库和停用词
本文介绍来自 LIRNEasia 的 Data, Analysis and Policy 团队的两个疯狂的僧伽罗语语料库，以及一个算法派生的停止词列表。其中较大的语料库跨越 2010 年到 2020 年，包含了斯里兰卡的 533 个 Fac
PDF4 years ago
技术语言处理中的停用词
本文探讨了在工程应用中，自然语言处理技术在信息检索，索引和主题建模中的应用。作者在此之上介绍了如何挑选出技术语言处理应用中的无意义单词，并编制出一个可供使用的停用词列表。
PDF4 years ago
数学问题中相关和不相关句子的联合概率分类模型
论文提出利用文本分类来辨别数学问题中的有关和无关句子，并提出了一种新颖的联合概率分类模型，其利用所有句子之间以及问题句子和其他句子之间的相关性和句子文本来估计数学问题中所有句子的分类决策的联合概率。结果表明，该模型和利用问题句子和其他句子之
PDF10 years ago