Oct, 2015

WarpLDA：一种 O (1) 高缓存效率的潜在狄利克雷分配算法

PDF
TL;DR本文开发了 WarpLDA 算法来处理 Latent Dirichlet Allocation (LDA) 中的内存访问效率问题，并通过多种测试得出 WarpLDA 相比现有算法在速度上更具优势，用户可以在数小时内从数亿个文档中学习高达一百万个主题，吞吐量可达 11G 每秒。
发现论文，激发创造
  • 潜在狄利克雷分配的谱算法

    提出了一种名为 ECA 的学习流程，基于低阶矩的光谱分解，它可以恢复多种混合模型的参数，并在仅使用三元统计时正确恢复主题概率向量和主题优先级，因此具有可扩展性。

    Apr, 2012

  • 随机折叠变分贝叶斯推断用于潜在狄利克雷分配

    该研究提出了一种基于折叠变分贝叶斯推断技术的随机算法，能快速准确地从大规模数字文本信息中学习话题模型并与人交互分析。

    May, 2013

  • 主题建模的可扩展异步分布式算法

    本文提出了一种名为 F+Nomad LDA 的新算法，它利用适当修改的 Fenwick 树处理大量主题，并通过 Nomad 算法启发的异步框架分布计算，从而在包含数百万文档、数十亿单词和数千个主题的大规模问题上明显优于现有方法。

    Dec, 2014

  • 一种高再现性和高准确度的自动化主题分类方法

    通过比较 LDA 和社区检测算法的优缺点，该研究提出一种用于主题发现的新算法，可在英文维基百科大规模文章中展现层次结构，提高文本分析系统的可靠性。

    Feb, 2014

  • 信念传播学习主题模型

    该研究提出了一种基于马尔可夫随机场框架下的因子图表示方法，实现了传统信念传播算法对隐含狄利克雷分配模型的近似推理和参数估计，该算法在速度和准确性方面均具有竞争力，并且可以成为基于 LDA 的话题模型的通用学习方案。

    Sep, 2011

  • 无监督声学单元发现的潜在狄利克雷分配的时间扩展

    本文介绍了一种扩展 LDA 模型的方法，利用马尔可夫链来建模时间信息，从而用于语音信号的无监督单元发现。与基本的 LDA 模型相比，扩展后的模型可以更好地描述相邻单元之间的关系，从而得到更好的语音单元划分结果。

    Jun, 2022

  • LightLDA: 在中小型计算集群上进行大规模主题建模

    通过使用 O（1）MH 采样算法，结构性并行模型方案和有界异步数据并行方案，本文展示了只需要 8 台机器即可在网页级语料库上训练具有 1 亿个主题和 100 万个单词的主题模型（共计 1 万亿个参数），这是目前尚未用数千台机器实现的规模，并且随着集群规模的增加，仍然享有比的时间成本降低，这代表了一项重大的技术突破。

    Dec, 2014

  • 潜在狄利克雷分配的稀疏随机推断

    本文提出了一种混合算法，将稀疏 Gibbs 采样的效率与在线随机推断的可扩展性相结合，用于分析包含 120 万本书（330 亿词）的语料库，在多个 Bayesian 隐变量模型中具有广泛的推广能力。

    Jun, 2012

  • EvaLDA: 针对隐含狄利克雷分配的高效逃避攻击

    本文研究了 Latent Dirichlet Allocation（LDA）模型在推理期间是否容易受到对抗性扰动的攻击，并将其形式化为一个 NP 难问题。我们提出了一种新颖高效的算法 EvaLDA 来解决这个问题，并通过广泛的实证评估展示了它的有效性。

    Dec, 2020

  • 使用异步参数服务器计算 Web 规模主题模型

    我们提出了 APS-LDA，在集群计算框架（如 Spark）中使用一种新颖的异步参数服务器将最先进的主题建模集成起来以方便使用现有的数据处理管道，并消除了需要进行磁盘写入的需求，因为可以从头到尾在内存中保留数据。通过将 APS-LDA 与现有的 Spark LDA 实现进行比较，我们展示了我们的系统可以在 480 个核心的集群上处理多达 135 倍的数据和 10 倍的主题数量而不会牺牲模型质量。

    May, 2016