介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

Oct, 2018

介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

Nov, 2022

该论文介绍了一种利用隐变量量化自动编码器 (VQ-VAE) 从语言预训练模型中离散地提取丰富信息的新颖主题建模方法，并提出了一种新的生成主题模型 Topic-VQ-VAE (TVQ-VAE)，可以逆向生成与相应隐变量量化编码书相关的原始文档。实验证明，TVQ-VAE 可以有效地捕捉主题上下文，揭示数据集的潜在结构，并支持灵活的文档生成形式。

Dec, 2023

提出了一种基于变分自编码器的模型，该模型以贝叶斯高斯混合模型为基础，在处理表格数据时能够更准确地表示潜在数据分布，同时具有更灵活的特性和更好的性能。

Apr, 2024

我们在 Wasserstein 自编码器（WAE）框架中提出了一种新颖的神经主题模型。通过直接在潜在文档 - 主题向量上施加狄利克雷先验，利用潜在空间的结构并应用合适的核，在最小化最大均值差异（MMD）中进行分布匹配，我们发现 MMD 在匹配高维度狄利克雷分布方面比生成对抗网络（GAN）表现更好。我们还发现，训练过程中在编码器输出中引入随机性可以产生更加连贯的主题。为了衡量所产生的主题的多样性，我们提出了一个简单的主题唯一性度量。结合广泛使用的语义相关性度量 NPMI，实验证明我们的模型比现有模型产生更好的主题质量。

Jul, 2019

本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

Aug, 2019

检索增强语言模型通过引入隐变量聚合检索信息解决了过时信息和虚构问题，并以 RegaVAE 作为一个例子，展示了在文本生成质量和幻觉去除方面的显著改进。

Oct, 2023

本文探讨了建筑选择对于学习文本生成变分自编码器（VAE）的影响。与之前引入的使用 RNN 的 VAE 不同，本文提出了一种新颖的混合架构，将完全前馈卷积和反卷积组件与递归语言模型混合在一起。我们的架构具有几个有吸引力的属性，如更快的运行时间和收敛速度，能够更好地处理长序列，并且更重要的是，它有助于避免训练 VAE 模型时出现的一些主要困难。

Feb, 2017

本文提出了一种使用正则化方法处理 Variational Recurrent Autoencoder 中 latent variables 过于随意造成的语言模型崩溃问题，将额外约束限制在 VRAE 的 latent variables 的后验概率分布中，使得模型能够准确地控制 KL 项和重构项之间的权衡，并学习到更加密集和有意义的 latent representations。实验表明，该方法优于多个强力 baseline，且不需要使用其他 KL 退火策略，能够学到可解释的 latent variables 并生成多样化和有意义的句子。

May, 2019

本文提出了一种基于转换器和变分自动编码器（VAE）的条件变分自动编码器（CVAE）方法，在保持卓越的生成效果的同时增强了可控性和表征学习能力，实现了对长文本的神经故事生成。

Jan, 2021