该研究提出了一种基于折叠变分贝叶斯推断技术的随机算法,能快速准确地从大规模数字文本信息中学习话题模型并与人交互分析。
May, 2013
本文探讨了用于高维稀疏计数数据建模的潜在狄利克雷分析或话题模型,比较了多种学习算法,发现主要区别在于应用于计数的平滑量。在优化超参数时,算法性能的差异显著缩小,这使得我们能够选择计算效率高的方法来学习准确的主题模型。
May, 2012
本研究开发了基于随机变分推断的可伸缩算法,用于逼近后验概率分布,并且针对一类大规模的概率模型进行了技术开发;对两个概率主题模型进行了演示并应用于大量文献数据的分析,其中包括自然杂志、《纽约时报》和维基百科,结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断,并且表明贝叶斯非参数主题模型优于参数主题模型;因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。
Jun, 2012
针对深度离散潜变量模型中的梯度计算和步长适应问题,本论文提出了利用数据增广和边缘化技术,得到分块对角 Fisher 信息矩阵及其逆的深度潜在狄利克雷分配表示,并利用该矩阵和随机梯度马尔科夫链蒙特卡罗方法,提出了主题 - 层适应性的随机梯度里曼蒙特卡罗方法,可全局学习所有层和主题的全局参数,实现了在大数据集上的最新成果。
Jun, 2017
该研究提出了一种基于马尔可夫随机场框架下的因子图表示方法,实现了传统信念传播算法对隐含狄利克雷分配模型的近似推理和参数估计,该算法在速度和准确性方面均具有竞争力,并且可以成为基于 LDA 的话题模型的通用学习方案。
Sep, 2011
提出了一种名为 ECA 的学习流程,基于低阶矩的光谱分解,它可以恢复多种混合模型的参数,并在仅使用三元统计时正确恢复主题概率向量和主题优先级,因此具有可扩展性。
Apr, 2012
本研究探索了一种基于随机变分贝叶斯推断的层次狄利克雷过程主题模型的折叠式推断方法,该算法易于实现并考虑了超参数的推断,实验结果显示在预测性能方面有很好的提升。
Dec, 2013
研究使用 SVI 在稀疏潜在因子模型(尤其是 BPFA)中的性能,发现使用 Gibbs 采样维护特定后验依赖关系非常有效,但在 BPFA 中不同的后验依赖关系与 LDA 不同,并且模拟内局部变量依赖性的近似方法表现最佳。
Jun, 2015
本文介绍了一种几何算法,可将潜在狄利克雷分配(LDA)模型及其非参数扩展中产生的主题的凸几何用于主题学习和推断,并提出了一种优化几何损失函数的方法,它是 LDA 的似然函数的替代方法。该方法通过基于加权聚类的快速优化过程并辅以几何校正来克服其他基于 Gibbs 采样和变分推断的技术所遇到的计算和统计效率低下的问题,同时具有与 Gibbs 采样相当的准确性。通过模拟和实际数据的大量实验,证明了我们方法产生的主题估计在某些条件下是统计一致的。
Oct, 2016
介绍了一种利用主题模型构建线性估算器为推理设计可证明算法的方法。
May, 2016