Mar, 2023

稻草堆中的话题：超越一致性的话题提取和评估

PDF
TL;DR该研究提出了一种方法，通过对句子和文档的主题进行深入理解，不仅分析数据中的词频，而且可以检测包括非常见词或新词在内的潜在主题，还使用了基于语义空间的异类词和相似性度量等新的评价指标，并通过与人工识别相似性度量的相关系数，在文本挖掘方面展现出优秀的性能结果。
topic extractionneural topic modelsevaluation metricssemantic spacedocument clustering
发现论文，激发创造
  • 大型语言模型为传统主题建模方法提供了一种替代方案

    本研究旨在探讨大型语言模型（LLMs）在主题提取方面的潜力，并建立评估协议以评估 LLMs 的聚类效果。通过深入实验与评估，总结了采用 LLMs 进行主题提取的优势和限制。

    Mar, 2024

  • 主题模型的网络方法

    采用随机块模型方法，针对主题建模中存在的问题，提出了一种更具通用性和原则性的框架，该框架能够自动检测主题数和分级群集单词和文档，从而比 LDA 在统计模型选择方面提供更好的主题模型。

    Aug, 2017

  • 融合词嵌入的短文本主题建模

    本篇论文介绍了一种基于词向量和马尔科夫随机场正则化模型的主题模型，从而改进对小文本数据的话题推断。结果表明，与传统主题模型相比，改进后的方法可以更有效地对短文本数据进行话题建模。

    Sep, 2016

  • 一种高再现性和高准确度的自动化主题分类方法

    通过比较 LDA 和社区检测算法的优缺点，该研究提出一种用于主题发现的新算法，可在英文维基百科大规模文章中展现层次结构，提高文本分析系统的可靠性。

    Feb, 2014

  • 使用多词表达方式视觉化主题

    提出了一种用于主题可视化的新方法，使用潜在变量模型自动提取大型文本语料库中的 term 分布，并利用与主题相关的重要短语来解释该分布。该方法使用基于任意长度表达式的语言模型，并提出了一种基于嵌套排列检验的新方法来查找重要短语。结果表明，该方法优于标准的卡方检验和似然比检验。应用在科学摘要和新闻文章的语料库上，演示了主题的呈现。

    Jul, 2009

  • LLM-TAKE：利用大型语言模型的主题感知关键词提取

    利用大型语言模型（LLMs）生成基于上下文的关键词，提出了主题感知关键词提取（LLM TAKE）的框架，通过避免输出非信息或敏感关键词，并减少在 LLMs 中普遍存在的幻觉，为电子商务领域的产品生成提取和抽象主题的两个变体，通过对三个真实数据集的广泛实验证明，该模型能够通过比较基准模型提升准确性和多样性。

    Dec, 2023

  • 可解释的、话语主题感知的神经语言理解

    该研究介绍了一种将主题模型与语言模型相结合的方法，扩展了语言理解的范围，通过主题进行了文档级上下文的抽取，并提出了一种可解释的主题表征，将主题语义加入到语言模型中。通过建模每个句子中的话题，保留了句子与文档主题关联，提出了一种既有隐藏话题，同时又有可解释话题的神经组合语言模型。该模型在多项任务中展现了显著提升的能力，包括语言建模、词义消岐、文档分类、检索和文本生成。

    Jun, 2020

  • 话题作为实体聚类：基于语言模型和图神经网络的基于实体的话题

    我们提出了一种基于聚类的主题建模方法，使用概念实体作为语言无关的表示，并使用图神经网络从百科全书语料库和知识库中提取实体的向量表示，该方法在连贯性度量方面始终优于其他主题模型。

    Jan, 2023

  • 基于合成语料的主题建模算法新评估框架

    该论文提出了一种基于合成语料库的新框架，用于评估概率主题建模算法，通过比较标记在标记级别上的指定主题标签，能够量化种植和推断主题结构之间的一致性。通过实验，揭示了主题模型的相对强度随语料库特征变化的新见解，并首次证明了主题模型的 “不可检测阶段”。并预测了在真实世界语料库中应用的主题建模算法的性能。

    Jan, 2019

  • 上下文化注意力嵌入的主题

    通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。

    Jan, 2023