Nov, 2022

考虑同义词的哈萨克语文本文档相似度测量方法：扩展到 TF-IDF

PDF
TL;DR本文提出了一种 TF-IDF 方法的扩展，其中考虑了同义词，实验结果表明该方法在测量哈萨克语文本文档相似性时非常有效。
text documentstf-idfsynonymssimilaritykazakh language
发现论文，激发创造
  • TF-IDF 特征加权方法的比较研究及其在非结构化数据集上的分析

    文本分类与特征加权方法，包括 N-Grams 和 TF-IDF，使用随机森林分类器实现最高的准确度（93.81%），精确度（94.20%），召回率（93.81%）和 F1-score（91.99%）值。

    Aug, 2023

  • 基于 TF-IDF 的乌兹别克语文本摘要

    基于 TF-IDF 算法和 n-gram 方法在乌兹别克语文本摘要任务中，本研究旨在提取语义重要的部分。学校语料库的实验结果表明，该方法能够有效地从乌兹别克语文本中提取出摘要，并且在信息检索和自然语言处理等多种应用中具有潜在价值。

    Mar, 2023

  • 学习极短文本的语义相似性

    研究了基于单词嵌入和 tf-idf 相似性的方法，用于匹配短文本片段，并得出使用两种方法的混合方法可以更好地模拟非常短的文本片段中的语义内容。

    Dec, 2015

  • 使用 TF-IDF 标签集匹配扩展神经关键字提取

    本文介绍了一种基于神经网络等新方法提取关键词的技术，在欧洲新闻媒体产业中的应用展示出了相当不错的实用效果。

    Jan, 2021

  • 基于多模型精细非线性融合的语义相似度计算模型

    该论文介绍了一种基于多模型非线性融合的新模型，通过使用基于词性、TF-IDF 和 word2vec-CNN 算法的 Jaccard 系数来分别衡量句子的相似度，输入加权向量到全连接神经网络，从而降低特征提取的细粒度，全局把握句子特征。实验结果表明，句子相似度计算方法的匹配率为 84%，模型的 F1 值为 75%。

    Feb, 2022

  • 大型多语言文档集合中文档翻译的自动识别

    本文介绍一种可通过将文档内容表示为多语言词库的词向量，并测量词向量间的语义相似度以识别大量候选文档中的翻译和其它相似文档等应用，且经测试，该系统可以在超过 820 个文档的大搜索空间中检测到 96% 以上精度的翻译及跨语言文档抄袭。

    Sep, 2006

  • 使用 Subword TF-IDF 进行多语言搜索

    采用子词标记化方法可以实现多语言检索，采用 STF-IDF 方法可以在不依赖启发式预处理的情况下提高信息检索精度，Text2Text 软件开源，可用于多种语言的信息检索。

    Sep, 2022

  • 无监督句子表示作为词语信息系列：重访 TF-IDF

    本文提出了一种利用加权词向量嵌入学习无标注句子表示的无监督方法，通过 TF-IDF 变换提供的 Shannon 词熵拟合词向量的权重，选择不同的超参得出短期训练、在线推理的句子表示，经过与 STS 系统的对比表明，该方法在语义文本相似度模型中的表现已达到最优。

    Oct, 2017

  • 文件相似度算法比较

    本文将比较文本相似度算法的三种类别：统计算法、神经网络以及基于语料库与知识的算法，并对它们进行了基准数据集和评估的测试，旨在找到最有效的文本相似度算法。

    Apr, 2023

  • 测试向量模型加权技术的不同对数基数

    本文通过采用范围为 0.1 至 100.0 的对数底数测试权重技术，测试不同权重值下系统的性能，以此突出了解系统在不同权重值下的性能的重要性。

    Jul, 2023