Dec, 2014

主题建模的可扩展异步分布式算法

PDF
TL;DR本文提出了一种名为 F+Nomad LDA 的新算法，它利用适当修改的 Fenwick 树处理大量主题，并通过 Nomad 算法启发的异步框架分布计算，从而在包含数百万文档、数十亿单词和数千个主题的大规模问题上明显优于现有方法。
topic modelsmassive document collectionsf+nomad ldascalableefficient
发现论文，激发创造
  • LightLDA: 在中小型计算集群上进行大规模主题建模

    通过使用 O（1）MH 采样算法，结构性并行模型方案和有界异步数据并行方案，本文展示了只需要 8 台机器即可在网页级语料库上训练具有 1 亿个主题和 100 万个单词的主题模型（共计 1 万亿个参数），这是目前尚未用数千台机器实现的规模，并且随着集群规模的增加，仍然享有比的时间成本降低，这代表了一项重大的技术突破。

    Dec, 2014

  • 使用异步参数服务器计算 Web 规模主题模型

    我们提出了 APS-LDA，在集群计算框架（如 Spark）中使用一种新颖的异步参数服务器将最先进的主题建模集成起来以方便使用现有的数据处理管道，并消除了需要进行磁盘写入的需求，因为可以从头到尾在内存中保留数据。通过将 APS-LDA 与现有的 Spark LDA 实现进行比较，我们展示了我们的系统可以在 480 个核心的集群上处理多达 135 倍的数据和 10 倍的主题数量而不会牺牲模型质量。

    May, 2016

  • 基于 Transformer 处理的模糊主题建模新方法

    基于软聚类和文档嵌入的模糊主题建模对比传统的 Latent Dirichlet Allocation（LDA）模型，在新闻发布监测中，得到了更加自然的结果。

    Sep, 2023

  • 一种高再现性和高准确度的自动化主题分类方法

    通过比较 LDA 和社区检测算法的优缺点，该研究提出一种用于主题发现的新算法，可在英文维基百科大规模文章中展现层次结构，提高文本分析系统的可靠性。

    Feb, 2014

  • NOMAD: 非锁定式、随机化多机异步与分散矩阵补全算法

    我们开发了一个名为 NOMAD 的高效并行分布式矩阵完成算法，它是一种基于异步无锁通信和分布式策略，通过在拥有权之间异步转移变量，使更新序列化，从而优于同步算法。

    Dec, 2013

  • WarpLDA：一种 O (1) 高缓存效率的潜在狄利克雷分配算法

    本文开发了 WarpLDA 算法来处理 Latent Dirichlet Allocation (LDA) 中的内存访问效率问题，并通过多种测试得出 WarpLDA 相比现有算法在速度上更具优势，用户可以在数小时内从数亿个文档中学习高达一百万个主题，吞吐量可达 11G 每秒。

    Oct, 2015

  • 主题模型的网络方法

    采用随机块模型方法，针对主题建模中存在的问题，提出了一种更具通用性和原则性的框架，该框架能够自动检测主题数和分级群集单词和文档，从而比 LDA 在统计模型选择方面提供更好的主题模型。

    Aug, 2017

  • 信念传播学习主题模型

    该研究提出了一种基于马尔可夫随机场框架下的因子图表示方法，实现了传统信念传播算法对隐含狄利克雷分配模型的近似推理和参数估计，该算法在速度和准确性方面均具有竞争力，并且可以成为基于 LDA 的话题模型的通用学习方案。

    Sep, 2011

  • Peacock: 针对工业应用学习长尾话题特征

    本文提出了一个新的分布式系统 Peacock，以学习大规模的 LDA 主题模型，可以从大规模数据集中推断出至少 10^5 个主题，对于工业搜索引擎和在线广告系统都有显著的提高。

    May, 2014

  • 多模态数据主题建模的深度和自回归方法

    本研究采用新型主题模型 DocNADE 扩展，提出了 SupDocNADE 模型，并成功将其应用于多模态数据，实现了图像标注和分类的联合表示，并取得了 state-of-the-art 的性能表现。同时，也在深度模型方面进行了探索，表现出更出色的结果。

    Sep, 2014