通过深度架构上的镜像下降反向传播进行 LDA 的端到端学习

NIPSAug, 2015

通过深度架构上的镜像下降反向传播进行 LDA 的端到端学习

End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture

Jianshu Chen, Ji He, Yelong Shen, Lin Xiao, Xiaodong He...

TL;DR本研究开发了 BP-sLDA 和 BP-LDA，前者是一个完全判别式的学习方法，后者是一个新的无监督 Latent Dirichlet Allocation 模型的学习方法，二者都采用了反向传播算法和镜像下降算法进行参数估计，并取得了比之前的模型更好的效果。

Abstract

We develop a fully discriminative learning approach for supervised Latent Dirichlet Allocation (LDA) model using back propagation (i.e., BP-sLDA), which maximizes the posterior probability of the prediction varia

latent dirichlet allocation supervised learning back propagation discriminative learning model parameter estimation

发现论文，激发创造

信念传播学习主题模型

该研究提出了一种基于马尔可夫随机场框架下的因子图表示方法，实现了传统信念传播算法对隐含狄利克雷分配模型的近似推理和参数估计，该算法在速度和准确性方面均具有竞争力，并且可以成为基于 LDA 的话题模型的通用学习方案。

Sep, 2011

使用深度神经网络从 LDA 模型中学习

本研究提出了一种使用深度神经网络预测 LDA 模型中潜在主题分布的方法，借鉴了迁移学习的思想，实现了在大大降低计算时间的同时取得较好的分类效果。

Aug, 2015

监督式主题模型

介绍了一种新的统计模型 —— 监督潜在狄利克雷分配（SLDA），应用变分方法处理难以计算的后验期望，解决回答类型的多样性并预测新文档的回答数值。与现代正则化回归以及无监督 LDA 分析相比，SLDA 有显著优势。

Mar, 2010

深度线性判别分析

本文提出了 Deep Linear Discriminant Analysis（DeepLDA）方法，通过在深度神经网络中，学习可分离的线性潜在表示以进行分类的降维。作者的目标是最大化特征分布的相似度以推广传统的 LDA 算法，通过三个基准数据集的评估，DeepLDA 在 MNIST 和 CIFAR-10 上得到了竞争性的结果，在 STL-10 上也优于使用分类交叉熵进行训练的网络。

Nov, 2015

使用置信传播的主题建模工具箱

本文介绍了一种基于置信传播算法的主题模型工具包（TMBP），该工具包采用 MEX C++ / Matlab / Octave 实现，可用于 Windows 7 或 Linux 操作系统，其中包括学习基于 Latent Dirichlet allocation（LDA）的主题模型的 BP 算法，以及其他几种 BP 算法，有关源代码的信息请访问给定的链接。

Jan, 2012

随机折叠变分贝叶斯推断用于潜在狄利克雷分配

该研究提出了一种基于折叠变分贝叶斯推断技术的随机算法，能快速准确地从大规模数字文本信息中学习话题模型并与人交互分析。

May, 2013

具有主题层自适应随机梯度黎曼 MCMC 的深层潜在狄利克雷分配

针对深度离散潜变量模型中的梯度计算和步长适应问题，本论文提出了利用数据增广和边缘化技术，得到分块对角 Fisher 信息矩阵及其逆的深度潜在狄利克雷分配表示，并利用该矩阵和随机梯度马尔科夫链蒙特卡罗方法，提出了主题 - 层适应性的随机梯度里曼蒙特卡罗方法，可全局学习所有层和主题的全局参数，实现了在大数据集上的最新成果。

Jun, 2017

HDP 的实用化折叠随机变分推断

本研究探索了一种基于随机变分贝叶斯推断的层次狄利克雷过程主题模型的折叠式推断方法，该算法易于实现并考虑了超参数的推断，实验结果显示在预测性能方面有很好的提升。

Dec, 2013

SimLDA：主题模型评估工具

本文介绍了一种新的变分信息传递算法，名为 ALBU，用于在有限数据情况下识别 LDA 模型中的方面，并在推特和新闻组数据集上与 VB 算法进行比较，展示 ALBU 算法在小型数据集表现出更高精度的潜在分布学习能力。

Aug, 2022

用高斯置信传播在深度因子图中学习

我们提出了一种在高斯因子图中进行学习的方法，将所有相关的量（输入、输出、参数、潜变量）都视为随机变量，并将训练和预测视为具有不同观察节点的推理问题。我们的实验结果表明，这些问题可以通过信念传播（BP）进行高效求解，其更新在本质上是局部的，为分布式和异步训练提供了令人兴奋的机会。我们的方法可以扩展到深度网络，并提供了一种自然的方法进行连续学习：使用当前任务的 BP 估计参数边缘作为下一个任务的参数先验。在视频去噪任务中，我们展示了可学习参数相对于经典因子图方法的优势，并展示了深度因子图在 MNIST 连续图像分类上令人鼓舞的性能。

Nov, 2023