我们提出了 APS-LDA，在集群计算框架（如 Spark）中使用一种新颖的异步参数服务器将最先进的主题建模集成起来以方便使用现有的数据处理管道，并消除了需要进行磁盘写入的需求，因为可以从头到尾在内存中保留数据。通过将 APS-LDA 与现有的 Spark LDA 实现进行比较，我们展示了我们的系统可以在 480 个核心的集群上处理多达 135 倍的数据和 10 倍的主题数量而不会牺牲模型质量。

May, 2016

本文提出了一种名为 F+Nomad LDA 的新算法，它利用适当修改的 Fenwick 树处理大量主题，并通过 Nomad 算法启发的异步框架分布计算，从而在包含数百万文档、数十亿单词和数千个主题的大规模问题上明显优于现有方法。

Dec, 2014

本文提出了一个新的分布式系统 Peacock，以学习大规模的 LDA 主题模型，可以从大规模数据集中推断出至少 10^5 个主题，对于工业搜索引擎和在线广告系统都有显著的提高。

May, 2014

采用随机块模型方法，针对主题建模中存在的问题，提出了一种更具通用性和原则性的框架，该框架能够自动检测主题数和分级群集单词和文档，从而比 LDA 在统计模型选择方面提供更好的主题模型。

Aug, 2017

本研究旨在探讨大型语言模型（LLMs）在主题提取方面的潜力，并建立评估协议以评估 LLMs 的聚类效果。通过深入实验与评估，总结了采用 LLMs 进行主题提取的优势和限制。

Mar, 2024

本研究探讨了大型语言模型在成本高效的推理和微调方面的方法，并比较了本地和分布式策略。我们开发了特殊的容错推理算法和负载平衡协议，用于自动分配设备以最大化系统总吞吐量，并展示了这些算法在 Petals 中的应用，该分散式系统能够以比离线处理快 10 倍的速度运行大型语言模型。我们通过模拟条件和跨越两大洲的真实场景对系统性能进行了评估。

Dec, 2023

采用异步训练、领域发现及专家语言模型等方法，针对大规模稀疏语言模型进行了研究，实现了高效的语言模型训练。实验结果表明，针对语料库的聚类分析和专家模型的培训对于提升模型性能至关重要。

Mar, 2023

本研究探讨了在短的多领域文本中如何运用 BERTopic 算法进行主题建模，并发现与 Latent Dirichlet Allocation 相比，BERTopic 在主题连贯性和多样性方面的表现更好。我们进一步分析了 BERTopic 所使用的 HDBSCAN 聚类算法的性能，并发现其将大多数文档分类为异常值。在使用 k-Means 替换 HDBSCAN 后，我们取得了类似的性能表现，但不再出现异常值。

Dec, 2022

本文提出了一种混合算法，将稀疏 Gibbs 采样的效率与在线随机推断的可扩展性相结合，用于分析包含 120 万本书（330 亿词）的语料库，在多个 Bayesian 隐变量模型中具有广泛的推广能力。

Jun, 2012

通过比较 LDA 和社区检测算法的优缺点，该研究提出一种用于主题发现的新算法，可在英文维基百科大规模文章中展现层次结构，提高文本分析系统的可靠性。

Feb, 2014