Aug, 2023

TF-IDF 特征加权方法的比较研究及其在非结构化数据集上的分析

PDF
TL;DR文本分类与特征加权方法，包括 N-Grams 和 TF-IDF，使用随机森林分类器实现最高的准确度（93.81%），精确度（94.20%），召回率（93.81%）和 F1-score（91.99%）值。
text classificationfeature weighting methodn-gramstf-idfsentiment analysis
发现论文，激发创造
  • 考虑同义词的哈萨克语文本文档相似度测量方法：扩展到 TF-IDF

    本文提出了一种 TF-IDF 方法的扩展，其中考虑了同义词，实验结果表明该方法在测量哈萨克语文本文档相似性时非常有效。

    Nov, 2022

  • 无监督句子表示作为词语信息系列：重访 TF-IDF

    本文提出了一种利用加权词向量嵌入学习无标注句子表示的无监督方法，通过 TF-IDF 变换提供的 Shannon 词熵拟合词向量的权重，选择不同的超参得出短期训练、在线推理的句子表示，经过与 STS 系统的对比表明，该方法在语义文本相似度模型中的表现已达到最优。

    Oct, 2017

  • 单词不平等：适用于构建组合文档向量的分级加权模型

    研究使用基于加权单词向量的模型，并使用多种分类器进行集成，以在影评数据集上提高 1.6％的性能，并在 Amazon 产品评论中提高 7.01％的性能，其中 tf-idf 等方法可以显着提高先前技术水平。

    Dec, 2015

  • 使用 TF-IDF 标签集匹配扩展神经关键字提取

    本文介绍了一种基于神经网络等新方法提取关键词的技术，在欧洲新闻媒体产业中的应用展示出了相当不错的实用效果。

    Jan, 2021

  • 使用带或不带停用词移除的术语加权方法对阿拉伯文本分类的影响

    比较了二进制和词频特征加权方法在文本分类中的效果，结果表明，在去除停用词的情况下，词频特征加权方法在准确率、召回率和 F-Measure 方面优于二进制方法，而在精确率方面两种方法的结果非常相似。此外，数据还清楚地表明，使用相同的短语加权方法，去除停用词可以提高分类准确性。

    Feb, 2024

  • 基于多模型精细非线性融合的语义相似度计算模型

    该论文介绍了一种基于多模型非线性融合的新模型，通过使用基于词性、TF-IDF 和 word2vec-CNN 算法的 Jaccard 系数来分别衡量句子的相似度，输入加权向量到全连接神经网络，从而降低特征提取的细粒度，全局把握句子特征。实验结果表明，句子相似度计算方法的匹配率为 84%，模型的 F1 值为 75%。

    Feb, 2022

  • 基于 TF-IDF 的乌兹别克语文本摘要

    基于 TF-IDF 算法和 n-gram 方法在乌兹别克语文本摘要任务中，本研究旨在提取语义重要的部分。学校语料库的实验结果表明，该方法能够有效地从乌兹别克语文本中提取出摘要，并且在信息检索和自然语言处理等多种应用中具有潜在价值。

    Mar, 2023

  • 测试向量模型加权技术的不同对数基数

    本文通过采用范围为 0.1 至 100.0 的对数底数测试权重技术，测试不同权重值下系统的性能，以此突出了解系统在不同权重值下的性能的重要性。

    Jul, 2023

  • 利用凝聚层次聚类和基于主题的方法对垃圾邮件进行分类

    基于主题的方法用于将垃圾邮件分类为多个类别，作者提出了两个新数据集，对其进行了标记，并评估了不同特征表示技术和分类器的性能。实验结果表明，英语数据集的最佳性能来自使用 TF-IDF 和逻辑回归，而西班牙语数据集的最佳性能来自使用 TF-IDF 和朴素贝叶斯。

    Feb, 2024

  • 运用传统信息检索方法提升神经排序模型

    在这篇论文中，我们探索了一种低资源替代方法，即基于词嵌入的文档检索模型，发现它在与信息检索任务上经过微调的大型 Transformer 模型相比具有竞争力。我们的结果表明，将 TF-IDF（传统的关键词匹配方法）与浅层嵌入模型简单组合，提供了一种低成本的方法，使其在 3 个数据集上与复杂的神经排序模型的性能相媲美。此外，添加 TF-IDF 度量改进了这些任务上大规模微调模型的性能。

    Aug, 2023