本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

Nov, 2016

该论文探讨了变分自编码器（VAEs）的一个微妙方面，着重解释了 Kullback Leibler（KL）散度，这是 Evidence Lower Bound（ELBO）中的一个关键组成部分，用于平衡重构准确性和正则化之间的权衡。通过使用混合高斯后验概率重新定义 ELBO，引入正则化项以防止方差崩溃，并使用 PatchGAN 鉴别器增强纹理真实性，该方法在实现细节中采用了 ResNetV2 架构用于编码器和解码器。实验证明其能够生成逼真的人脸，为增强基于 VAE 的生成模型提供了有希望的解决方案。

Sep, 2023

该研究论文提出 Batch Normalized-VAE (BN-VAE) 方法可以避免 Variational Autoencoder（VAE）寻找 “后验塌缩”（posterior collapse）的局部最优解，该方法不需要引入新的模型组件或修改目标，可有效地、高效地避免后验塌缩，尤其在语言建模、文本分类和对话生成等任务上表现优异，且与 VAE 训练时间几乎相同。

Apr, 2020

这篇论文使用变分推断方法估计代理模型的参数，通过将估计问题转化为可直接求解的优化任务。该方法可用于进行数据驱动分析，以更准确地估计和验证代理模型，并提供有关社会系统中人类行为的洞察。

Mar, 2024

该论文提出了两种可用于变分推断和特别是变分自编码器训练的基于 Kullback-Leibler 和 Rényi 分歧的对数似然的新界限，这受到在连续数据集上训练 VAE 时遇到的困难的启发，同时避免了给数据添加任何额外噪音来源的必要，具有数值稳定的训练程序。

Jul, 2018

本文中，我们探索使用结构化变分自编码器来推断句子生成的潜在模板，使用软，连续松弛来利用重参数化进行训练，并提出了 Gumbel-CRF 方法。它是 CRF 采样算法的连续松弛，使用了一种松弛的前向 - 向后采样方法。通过使用重新参数化的梯度估计器，Gumbel-CRF 方法可以提供更稳定的梯度估计，同时通过训练我们展示了它学习到可解释的模板，可以用于在测试阶段控制解码器。我们通过将方法应用于数据文本生成和无监督释义生成实验中，证明了我们方法的有效性。

Nov, 2020

本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

Sep, 2017

该研究提出了一种基于重要性采样和统计耦合的派生估计器，将分类变量重新参数化作为二进制序列，并进行 Rao-Blackwellization，结果表明该方法在离散潜变量训练中具有最先进的性能。

Jun, 2021

该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

Sep, 2018

本研究提出了一种对 Gumbel-Softmax estimator 进行 Rao-Blackwellization 的方法，可在不增加函数评估数量的情况下减少方差，从而降低均方误差，并在两种无监督潜变量模型中得到了实证验证。

Oct, 2020