ACLJan, 2024

超越自动化评估指标：在实践中评估主题模型在社会科学内容分析任务上的能力

PDF
TL;DR通过对话题模型进行评估，发现神经网络模型（NTMs）在实际任务中的效果优于传统模型，且自动评估指标无法提供全面的话题建模能力。
发现论文，激发创造
  • 上下文化主题一致性度量

    本研究提出了一种基于 LLM 的方法，受到人类主题评估的启发，实现了语境化主题连贯性（CTC）度量，其在自动化主题连贯性方法方面表现出色，可应用于短文本，并不容易受到高分却无意义的主题干扰。

    May, 2023

  • 自动主题模型评估是否存在问题？：连贯性的不连贯性

    通过将自动话的一致性与两种最广泛接受的人类判断任务进行比较，我们解决了话题模型评估中的验证鸿沟。与人类评估相比，自动评估宣布了一个获胜模型。

    Jul, 2021

  • 神经主题模型失效了吗？

    针对自动化与人工对主题模型的评估之间的关系进行研究，分析了两个与主题模型相关的方面，即它们的稳定性和是否能够与人工确定的分类相匹配，发现神经主题模型在稳定性和对人工分类相匹配方面表现不佳，并通过演示一种简单的集成方法来解决这两个问题。

    Oct, 2022

  • 神经多模态主题建模：全面评估

    本文提出了首次系统全面评估多模式主题建模的方法，并提出了两个新的主题建模解决方案和两个新的评估指标。通过对数据集的评估，我们发现我们的模型都能生成连贯且多样化的主题。然而，一个方法优于另一个方法的程度取决于评估指标和数据集的组合，这表明未来需要进一步探索混合解决方案。值得注意的是，我们简明的人工评估与我们提出的评估指标结果一致，这不仅强化了评估指标的可信度，也突出了其在引导未来多模式主题建模研究中的潜力。

    Mar, 2024

  • 神经主题模型综述：方法、应用和挑战

    综述了神经主题模型（Neural Topic Models）的方法、应用和挑战，将当前的神经主题模型方法按网络结构进行系统分类，并介绍了在短文本和跨语言文档等多种场景中的神经主题模型应用。还讨论了基于神经主题模型构建的各种热门应用，最后指出了神经主题模型面临的挑战，以激发未来的研究。

    Jan, 2024

  • 神经主题建模优于聚类吗？基于语境嵌入的聚类主题实证研究

    本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题，相比于利用神经模型的方法有更高的效率和简洁性。

    Apr, 2022

  • 使用大语言模型重新审视自动主题模型评估

    利用大语言模型自动评估主题模型，以解决自动评估和确定最佳主题数量的问题，并使用文档标记自动确定最佳主题数量。

    May, 2023

  • 基于合成语料的主题建模算法新评估框架

    该论文提出了一种基于合成语料库的新框架，用于评估概率主题建模算法，通过比较标记在标记级别上的指定主题标签，能够量化种植和推断主题结构之间的一致性。通过实验，揭示了主题模型的相对强度随语料库特征变化的新见解，并首次证明了主题模型的 “不可检测阶段”。并预测了在真实世界语料库中应用的主题建模算法的性能。

    Jan, 2019

  • 基于连贯性的神经主题建模

    本文提出基于神经变分推断的方法，在主题建模的训练过程中融入主题连贯性目标，实现了主题连贯性的增强并保持了低困惑度。

    Sep, 2018

  • 一种修改后的模型用于从语料库中检测主题并评估主题可理解性的新指标

    本文提出了一种修改后的神经模型以检测语料库中主题，并提出了一种新的度量标准来评估检测到的主题。这个新模型建立在嵌入式主题模型的基础上，加入了一些修改，例如文档聚类。数值实验表明，新模型表现良好，而且无论文档的长度如何都表现良好。可以更有效地计算新度量标准，与主题连贯性等广泛使用的度量标准相比，提供了有关检测到的主题可理解性的可变信息。

    Jun, 2023