Nov, 2023

移除低频词对 LDA 模型主题质量的影响分析

PDF
TL;DR研究论文通过模拟实验，考察了删除不常见词汇对使用潜在狄利克雷分配估计主题质量的影响，结果表明剪枝是有益的，并且可以消除相当大比例的词汇。
text preprocessingvocabulary pruninginfrequent wordslatent dirichlet allocationevaluation metrics
发现论文，激发创造
  • 稻草堆中的话题：超越一致性的话题提取和评估

    该研究提出了一种方法，通过对句子和文档的主题进行深入理解，不仅分析数据中的词频，而且可以检测包括非常见词或新词在内的潜在主题，还使用了基于语义空间的异类词和相似性度量等新的评价指标，并通过与人工识别相似性度量的相关系数，在文本挖掘方面展现出优秀的性能结果。

    Mar, 2023

  • 当少即是多：探究大规模预训练 LLMs 的数据修剪

    通过比较数据质量的简单估算方法困惑度和更复杂、计算密集的评估方法的错误 L2 范数和记忆化，我们发现困惑度方法在去除数据噪声和提升预训练数据集质量方面具有较好的效果。我们能够在仅使用原始训练数据的 30% 进行训练的情况下，改进我们的基准模型，这为自动筛选高质量数据集提供了新的方法论，并表明大部分的预训练数据可被删除而保持性能。

    Sep, 2023

  • 低频项对神经信息检索模型的影响

    本研究分析了低频词对神经信息检索模型的性能和稳健性的影响，通过对三个不同的最近神经信息检索模型进行控制实验，发现采用 FastText 对于低频词查询可以带来明显的性能提升。

    Apr, 2019

  • 基于文本质量的修剪方法用于语言模型的高效训练

    本文提出了一种用于对大型未标记 NLP 数据集中的文本质量进行数值评估的新方法，以分配给文本实例一个 “质量分数”。通过提出文本质量度量标准，本文建立了一个框架来识别和消除低质量的文本实例，提高了 LM 模型的训练效率。实验结果表明，通过这种方法，在多个模型和数据集上可以获得显著的训练效果提升，并展示了资源高效的 LM 训练的潜力。例如，在使用 OpenWebText 数据集进行训练时，相对于较少的数据量和较快的训练速度，多个 LM 模型在 14 个下游评估任务上的平均绝对准确性提高了 0.9%，在使用 Wikipedia 数据集时，平均绝对准确性提高了 0.8%。

    Apr, 2024

  • 主题模型的平滑和推断

    本文探讨了用于高维稀疏计数数据建模的潜在狄利克雷分析或话题模型，比较了多种学习算法，发现主要区别在于应用于计数的平滑量。在优化超参数时，算法性能的差异显著缩小，这使得我们能够选择计算效率高的方法来学习准确的主题模型。

    May, 2012

  • 文本分类中算法性能、词汇量和运行时间之间的关系探究

    我们提供了一项综合研究，研究了 10 种预处理技术如何影响词汇量大小、模型性能和模型运行时间等因素，发现一些组合技术可以在不降低正确率的情况下缩短运行时间，并且还有一些组合方法可以缩短运行时间同时提高模型准确性。

    Apr, 2021

  • 使用带或不带停用词移除的术语加权方法对阿拉伯文本分类的影响

    比较了二进制和词频特征加权方法在文本分类中的效果，结果表明，在去除停用词的情况下，词频特征加权方法在准确率、召回率和 F-Measure 方面优于二进制方法，而在精确率方面两种方法的结果非常相似。此外，数据还清楚地表明，使用相同的短语加权方法，去除停用词可以提高分类准确性。

    Feb, 2024

  • 主题模型的网络方法

    采用随机块模型方法，针对主题建模中存在的问题，提出了一种更具通用性和原则性的框架，该框架能够自动检测主题数和分级群集单词和文档，从而比 LDA 在统计模型选择方面提供更好的主题模型。

    Aug, 2017

  • 厌倦主题模型？预训练词嵌入聚类同样适用于快速且良好的主题！

    本文提出了一种利用预训练单词嵌入进行文本聚类的新方法，同时整合文本信息进行加权聚类并重新排名前几个单词，旨在挖掘出文档集合中的主题，并对其性能进行基准测试并分析其在降维中的性能。实验表明，所提出的方法在降低时间和计算复杂度同时不输于传统的概率主题模型。

    Apr, 2020

  • 一种高再现性和高准确度的自动化主题分类方法

    通过比较 LDA 和社区检测算法的优缺点，该研究提出一种用于主题发现的新算法，可在英文维基百科大规模文章中展现层次结构，提高文本分析系统的可靠性。

    Feb, 2014