本文探讨了利用深度神经网络对概率模型进行参数化的变分推断方法在语言建模上出现的后验坍塌问题，介绍了多种解决方案和模型扩展，并通过贝叶斯优化系统性比较了这些方法的效果和差异，同时提供了一些实践建议。

Apr, 2019

介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

Nov, 2022

本文系统调查了近期神经文本生成模型的发展，并在两个着名数据集上进行基准实验，讨论其性质和实践结果。

Mar, 2018

通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

Nov, 2015

本文研究自然语言生成的评估方法，并通过自动化评估和人工评估的比较，发现词汇重叠是自然语言生成的较好评估指标，而人工评估与自动化评估在排名上存在较大差异，因此呼吁重新考虑自然语言生成的评估目标。

Jan, 2019

本文提出了一项新任务，即区分生成文本的几个变种中的哪一个，并进行了一系列诊断测试，以观察建模选择（例如取样方法，top-k 概率，模型架构等）是否在生成的文本中留下可检测的痕迹。我们的主要发现是，这些痕迹存在，并且不同的建模选择可以通过观察生成的文本来推断出来，这表明神经文本生成器可能比以前想象的更敏感于各种建模选择。

Apr, 2020

该研究提出了一种基于主题引导的变分自编码器（TGVAE）模型，该模型使用高斯混合模型作为先验，建立了神经主题模块对语料中的主题进行指导性生成。实验结果表明，该模型在无条件和有条件文本生成方面优于传统的变分自编码器方法。

Mar, 2019

本文介绍一种基于 RNN 和 VAE 的生成模型，该模型可以显式地模拟句子的整体特征，并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子，能够插值生成连贯且新颖的句子，并用于填补缺失的词，同时探索了潜在句子空间的许多有趣属性。

Nov, 2015

通过深度生成模型进行文本压缩，利用离散语言模型分布作为文档的潜在表示，生成模型引入离散语言模型的概念，通过变分自编码器进行推断，本研究在大量监督数据训练的情况下，得出抽象和提取式压缩的最新成果，并探索半监督压缩场景。

Sep, 2016

本文探讨了建筑选择对于学习文本生成变分自编码器（VAE）的影响。与之前引入的使用 RNN 的 VAE 不同，本文提出了一种新颖的混合架构，将完全前馈卷积和反卷积组件与递归语言模型混合在一起。我们的架构具有几个有吸引力的属性，如更快的运行时间和收敛速度，能够更好地处理长序列，并且更重要的是，它有助于避免训练 VAE 模型时出现的一些主要困难。

Feb, 2017