不带重新参数化技巧的离散变分循环主题模型

Oct, 2020

不带重新参数化技巧的离散变分循环主题模型

A Discrete Variational Recurrent Topic Model without the Reparametrization Trick

Mehdi Rezaee, Francis Ferraro

TL;DR本文介绍了如何使用神经变分推断学习具有离散随机变量的神经主题模型，该模型不依赖于随机反向传播处理离散变量，结合主题模型分析整个文档的话题连贯性。使用神经变分推断，在多个语料库中，我们展示了改进的困惑度和文档理解，考虑了先验参数的影响，同时证明了本方法在话题质量的自动度量上具有竞争力和超越性能。

Abstract

We show how to learn a neural topic model with discrete random variables---one that explicitly models each word's assigned topic---using neural variational inference that does not rely on stochastic backpropagati

neural topic model neural variational inference topic coherence prior parameters automatic measure

发现论文，激发创造

神经变分推断下的离散隐变量主题挖掘

这篇论文介绍了神经方法在主题建模中的应用，特别是提供可参数化分布以允许可变参数下的后向传播，同时提出了一种递归网络，能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题，在 MXM Song Lyrics，20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。

Jun, 2017

文本处理的神经变分推断

通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

Nov, 2015

神经动态聚焦主题模型

本文提出了一种基于神经组态推断的动态聚焦主题模型，该模型能够跟踪主题的出现情况以及活跃度，并在各种任务中实现了比其他主题模型更好的泛化能力和类似的预测能力。

Jan, 2023

具有序列、半监督离散变量的事件表示

该论文在事件建模和理解的背景下，提出了一种新的神经序列建模方法，该方法考虑了离散的、部分被观察到的外部知识序列。通过构建一个顺序神经变分自编码器，在精心定义的编码器中使用 Gumbel-Softmax 重参数化技术，允许半监督的外部离散知识在训练期间指导但不限制变分潜在参数。实验表明，该方法不仅优于多个基线和叙事脚本归纳的最新技术，而且收敛速度更快。

Oct, 2020

用狄利克雷变分自编码器进行文本建模

介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

Oct, 2018

变分循环神经机器翻译

本文提出了一种新颖的变分递归神经机器翻译（VRNMT）模型，该模型引入了一系列潜在随机变量以发挥生成效果，这些变量是通过变分自编码器获得的，并且在 NMT 解码器的隐藏状态中包含。使用神经后验近似器和重参数化技术，该模型在汉英和英德翻译任务上实验，取得显着的性能提升。

Jan, 2018

通过主题感知离散潜变量学习语义文本相似度

本文提出了一种基于主题的离散潜变量模型，通过向量量化学习句子对表示的共享潜空间，进一步将量化表示注入基于语义驱动的注意力机制变压器语言模型，以提高语义相似性的性能。

Nov, 2022

变分神经机器翻译

本文提出了一种变分神经机器翻译编码器 - 解码器模型，引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成，通过神经后验估计技术对该模型进行训练，在中英文和英德翻译任务中实现了显著的性能提升。

May, 2016

自动编码变分贝叶斯

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

随机变分推断

本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

Jun, 2012