Jan, 2023

通过无限潜在状态复制改进主题模型推断

PDF
TL;DR本文提出了一种基于无限潜在状态复制（ILR）的新型推理方法，旨在改善用于主题建模中的 CGS 推理。实验结果表明，与 CGS 推理相比，ILR 在现有主题模型的推理方面表现更出色。
topic modelstext miningprobabilistic generative modelscollapsed gibbs samplinginfinite latent state replication
发现论文，激发创造
  • 主题模型的平滑和推断

    本文探讨了用于高维稀疏计数数据建模的潜在狄利克雷分析或话题模型，比较了多种学习算法，发现主要区别在于应用于计数的平滑量。在优化超参数时，算法性能的差异显著缩小，这使得我们能够选择计算效率高的方法来学习准确的主题模型。

    May, 2012

  • 潜在狄利克雷分配的稀疏随机推断

    本文提出了一种混合算法，将稀疏 Gibbs 采样的效率与在线随机推断的可扩展性相结合，用于分析包含 120 万本书（330 亿词）的语料库，在多个 Bayesian 隐变量模型中具有广泛的推广能力。

    Jun, 2012

  • 主题模型推断的可证算法

    介绍了一种利用主题模型构建线性估算器为推理设计可证明算法的方法。

    May, 2016

  • 神经变分推断下的离散隐变量主题挖掘

    这篇论文介绍了神经方法在主题建模中的应用，特别是提供可参数化分布以允许可变参数下的后向传播，同时提出了一种递归网络，能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题，在 MXM Song Lyrics，20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。

    Jun, 2017

  • 自动主题生成的分层潜在语义映射

    本文提出一种新的名为 Hierarchical Latent Semantic Mapping (HLSM) 的主题生成方法，它可以自动从语料库中生成主题，并使用单词之间的关联和层次生成主题网络。实验表明，相比于现有的一些最先进的方法，HLSM 在几个文档集合上表现良好。

    Nov, 2015

  • 基于混合 Gamma - 负二项式过程的无限作者主题模型

    这篇论文主要介绍了如何使用无限作者主题模型（Infinite Author Topic）来解决传统主题模型中难以确定主题数量的问题，并通过 Gamma-Negative Binomial Process 和 Gibbs Sampling Inference Algorithm 来实现对主题、作者兴趣和文本数据的学习。

    Mar, 2015

  • 在神经形态多芯片系统上训练概率主题模型

    本文研究了如何在神经形态多芯片系统（NMS）上训练概率主题模型，提出了三种算法，一种是批量算法，另外两种是在线算法，使用了新颖的随机优化方法和高效的能量和存储策略，并成功用于 pLSI 和 LDA 训练，结果表明这些算法不仅能够与常规计算机算法相媲美，而且更适合在 NMS 上实现。

    Apr, 2018

  • 具有数据增强的 Gibbs 最大裕度主题模型

    本文提出了 Gibbs max-margin 监督主题模型的新型损失函数，通过引入增广变量和解析地消除 Dirichlet 变量，从而开发了简单的 Gibbs 抽样算法以解决多个潜在 SVM 子问题，且无需限制假设和解决 SVM 子问题，从而在许多分类任务中实现了时间效率和分类性能的显着提高。

    Oct, 2013

  • 重访主题指导语言模型

    一项最近的自然语言处理研究旨在结合语言模型和主题模型，这些主题引导的语言模型通过将主题模型与神经语言模型相结合，采用无监督学习方法来发现文档级别的词汇使用模式。本文比较了这些方法在标准化环境中的效果，并发现这些方法中没有任何一种超越了标准 LSTM 语言模型基准，并且大多数方法无法学习到好的主题。此外，我们训练了一个探测神经语言模型的方法，结果显示基准模型的隐藏状态已经编码了主题信息。本研究公开了所使用的所有代码。

    Dec, 2023

  • 具有主题层自适应随机梯度黎曼 MCMC 的深层潜在狄利克雷分配

    针对深度离散潜变量模型中的梯度计算和步长适应问题，本论文提出了利用数据增广和边缘化技术，得到分块对角 Fisher 信息矩阵及其逆的深度潜在狄利克雷分配表示，并利用该矩阵和随机梯度马尔科夫链蒙特卡罗方法，提出了主题 - 层适应性的随机梯度里曼蒙特卡罗方法，可全局学习所有层和主题的全局参数，实现了在大数据集上的最新成果。

    Jun, 2017