Sep, 2023

评估动态主题模型

PDF
TL;DR本研究提出了一种用于动态主题模型中定量评估主题演变的新型评估方法，分析了每个主题在时间上的质量变化，并将主题质量与模型的时间一致性相结合。通过对合成数据和现有动态主题模型数据的应用以及人工评估，验证了所提出的评估方法的实用性。研究结果可用于识别变化的主题，评估不同的动态主题模型，并指导未来研究。
dynamic topic modelsevaluation measuretopic qualitytemporal consistencyhuman evaluation
发现论文，激发创造
  • 分析时间序列文档集的动态和静态主题模型

    本文提出一个动态和静态主题模型，能同时考虑时间上的主题演化和每个时间的主题层级结构，以此来分析结构化的时间序列文档。作者通过实验表明，该方法在科学论文集的主题提取方面优于传统模型，并展示了提取出的主题结构，以此来帮助对研究活动进行分析。

    May, 2018

  • 连续时间动态主题模型

    本文介绍了一种新的连续时间动态主题模型（cDTM），它使用布朗运动模拟文档序列中的潜在主题，通过稀疏观测值使用变分推理算法进行有效推断。我们在两个新闻语料库上测试了该模型，并通过预测困惑度和时间戳预测等指标进行了评估。

    Jun, 2012

  • 超越自动化评估指标：在实践中评估主题模型在社会科学内容分析任务上的能力

    通过对话题模型进行评估，发现神经网络模型（NTMs）在实际任务中的效果优于传统模型，且自动评估指标无法提供全面的话题建模能力。

    Jan, 2024

  • 可扩展的广义动态主题模型

    本篇论文介绍了针对动态主题模型的一些新成果，包括将可计算先前从 Wiener 过程扩展到通用的高斯过程，提出了基于随机变分推理和稀疏高斯过程的可扩展近似推理方法，实验结果表明扩展模型可以发现以前无法找到的有趣模式。

    Mar, 2018

  • 基于合成语料的主题建模算法新评估框架

    该论文提出了一种基于合成语料库的新框架，用于评估概率主题建模算法，通过比较标记在标记级别上的指定主题标签，能够量化种植和推断主题结构之间的一致性。通过实验，揭示了主题模型的相对强度随语料库特征变化的新见解，并首次证明了主题模型的 “不可检测阶段”。并预测了在真实世界语料库中应用的主题建模算法的性能。

    Jan, 2019

  • 神经多模态主题建模：全面评估

    本文提出了首次系统全面评估多模式主题建模的方法，并提出了两个新的主题建模解决方案和两个新的评估指标。通过对数据集的评估，我们发现我们的模型都能生成连贯且多样化的主题。然而，一个方法优于另一个方法的程度取决于评估指标和数据集的组合，这表明未来需要进一步探索混合解决方案。值得注意的是，我们简明的人工评估与我们提出的评估指标结果一致，这不仅强化了评估指标的可信度，也突出了其在引导未来多模式主题建模研究中的潜力。

    Mar, 2024

  • Timeline：一种动态层级狄利克雷过程模型，用于恢复文本流中主题的出生 / 死亡和演化

    本文提出了无限动态主题模型 (iDTM)，该模型能够适应文档集合中主题数量、主题分布和流行度等潜在结构的时空演化，使用该模型对 NIPS 社区中的主题进行了分析并在模拟和真实数据集上进行了评估，结果良好。

    Mar, 2012

  • 神经主题模型失效了吗？

    针对自动化与人工对主题模型的评估之间的关系进行研究，分析了两个与主题模型相关的方面，即它们的稳定性和是否能够与人工确定的分类相匹配，发现神经主题模型在稳定性和对人工分类相匹配方面表现不佳，并通过演示一种简单的集成方法来解决这两个问题。

    Oct, 2022

  • 上下文化主题一致性度量

    本研究提出了一种基于 LLM 的方法，受到人类主题评估的启发，实现了语境化主题连贯性（CTC）度量，其在自动化主题连贯性方法方面表现出色，可应用于短文本，并不容易受到高分却无意义的主题干扰。

    May, 2023

  • 圣经对当代话题的启示：低资源多语言话题模型的评估

    介绍了一种评估多语言主题模型质量的方法，该方法考虑到外部资源不足的情况，并提出了一种适应性模型来提高指标的准确性和可靠性。

    Apr, 2018