Jun, 2024

历史是生活的导师：利用神经嵌入进行古罗马文学的动态主题建模

PDF
TL;DR使用 BERT 嵌入实现的动态主题模型与传统的统计模型（LDA 和 NMF）进行比较，模型主题遍布整个罗马文学存档，定量评估偏向统计模型，而定性评估对神经模型有更好的洞察力，此外，神经主题模型对超参数配置不敏感，使动态主题建模对历史研究人员更具可行性。
dynamic topic modelshistorical analysisbert embeddingsstatistical modelsneural topic model
发现论文，激发创造
  • 神经动态聚焦主题模型

    本文提出了一种基于神经组态推断的动态聚焦主题模型，该模型能够跟踪主题的出现情况以及活跃度，并在各种任务中实现了比其他主题模型更好的泛化能力和类似的预测能力。

    Jan, 2023

  • 动态嵌入主题模型与变点检测用于探索文学历史假设

    我们提出了一种新颖的动态嵌入式主题模型和转折点检测的组合方法，用于探索古典与早期基督教拉丁语中词汇语义情态的历时变化。我们展示了几种方法来寻找和描述产出中的模式，并将其与比较文学和经典学中的传统学术研究联系起来。这种简单的无监督语义变化模型方法可以应用于任何合适的语料库，我们最后讨论了未来的方向和改进，以使噪声更大、经过整理较少的材料达到这个阈值。

    Jan, 2024

  • 动态嵌入主题模型

    该研究采用动态主题模型和词嵌入模型组合设计了一种动态嵌入主题模型，通过向每个时间步长中的嵌入表示赋值主题，该模型能够学习到平滑的主题轨迹，并在三个不同的语料库上发现，在文档完成任务中，该模型优于动态 LDA，而且比 LDA 更易于训练。

    Jul, 2019

  • ANTM: 基于对齐的神经主题模型用于探索快速演化的话题

    本文介绍了 Aligned Neural Topic Model（ANTM）, 一种动态神经主题模型，它使用文本嵌入来计算不同时间段内的语义相似文档的集群，并对齐文档集群以表示其演变。实验证明 ANTM 在主题相干性和多样性方面均优于其他模型。

    Feb, 2023

  • 主题建模与深度神经网络：一项调查

    本文介绍了神经主题模型研究的最新进展和发展方向，旨在为 AI 社区中的研究人员提供一个全面的概述以促进其在这一快速发展研究领域中进行创新。

    Feb, 2021

  • BERTopic: 一种基于类别的 TF-IDF 过程的神经主题建模方法

    BERTopic 是一种主题模型，通过 BERT 语言模型生成文档嵌入，并利用 TF-IDF 进行聚类和生成主题，具有较高的性能。

    Mar, 2022

  • 多语言变压器和 BERTopic 用于短文本主题建模：塞尔维亚案例

    该论文采用 BERTopic 主题建模技术对塞尔维亚语的短文本进行了首次应用，结果表明在部分预处理的情况下，BERTopic 可以提供信息丰富的主题。与 LDA 和 NMF 相比，BERTopic 提供了更多有信息量的主题，并在主题数不受限制时提供新的见解。这些研究结果对于处理其他形态丰富的低资源语言和短文本的研究者具有重要意义。

    Feb, 2024

  • 超越自动化评估指标：在实践中评估主题模型在社会科学内容分析任务上的能力

    通过对话题模型进行评估，发现神经网络模型（NTMs）在实际任务中的效果优于传统模型，且自动评估指标无法提供全面的话题建模能力。

    Jan, 2024

  • 深度时间循环复制 Softmax 在时序话题趋势中的应用

    本文提出了一种新的无监督神经动态主题模型 ——RNNRSM，该模型有利于在时间序列文档集合中识别主题趋势，并引入了一个用于量化模型捕捉单词演变的指标 SPAN。通过对 19 年 NLP 研究文章的应用，与现有主题模型相比，RNNRSM 表现出更好的泛化性、主题解释性、演化和趋势性。

    Nov, 2017

  • TopicAdapt - 一种企业间主题自适应方法

    该论文介绍了一种神经主题模型 TopicAdapt，可以从一个相关的源语料库中适应相关主题，并在目标语料库中发现源语料库中缺失的新主题，实验结果表明，该模型在多个领域的多个数据集上表现优于现有的主题模型。

    Oct, 2023