本文探讨了利用深度神经网络对概率模型进行参数化的变分推断方法在语言建模上出现的后验坍塌问题，介绍了多种解决方案和模型扩展，并通过贝叶斯优化系统性比较了这些方法的效果和差异，同时提供了一些实践建议。

Apr, 2019

使用表观不确定性来指导潜在空间内的优化过程，利用重要性采样估计表观不确定性来生成更真实且有效的高维离散对象，在数字生成、算术表达式逼近和药物设计的分子生成等多个实验中都表现出优异的性能。

Jun, 2021

本文针对 VAE 模型中的超参数调整问题，研究了校准解码器的作用和对 VAE 性能的影响，提出了一种简单但有效的高斯解码器改进方法。通过对多种数据集和模型的综合分析，我们得出了使用校准解码器进行 VAE 训练的建议。

Jun, 2020

基于大型编码器和解码器语言模型的自动评估方法在文本生成任务中表现比调整后的编码器模型差，研究还发现解码器模型关注于表面字词序列而忽略了意义，同时发现调整后的解码器模型难以识别细粒度语义差异。

Oct, 2023

本文提出了使用退火重要性采样 (annealed importance sampling) 来学习深度生成模型的方法，该方法是变分推断 (variational inference) 和马尔可夫链蒙特卡罗 (Markov chain Monte Carlo) 两种主要的近似方法的结合，通过实验表明该方法比重要性加权自编码器 (importance weighted auto-encoders) 更好地建模了概率密度，并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。

Jun, 2019

本文介绍了一种新的像素预测器：双线性加性上采样，同时比较了各种类型解码器在各种像素级任务中的表现，发现解码器类型对于结果影响很大，并探讨了预测产生的伪影问题。

Jul, 2017

本文研究了在因果生成模型中进行推断的问题，通过从图形模型中提取样本，结合适当的屏蔽函数，可以训练单个神经网络来近似所有相应的条件边缘分布，从而摊销推断成本，并通过图的链式分解来从近似联合后验中生成样本。

Nov, 2017

研究提出了一种更高效的密度估计方法，从而解决了一些复杂的生成学习算法中难以估计模型质量的问题，并证明其提供了真实测试对数似然的下界和无偏估计，同时还提出了一种偏差估计的变体，可以在有限的样本数下可靠地用于模型比较。

Nov, 2013

将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

Apr, 2020

概率生成模型评估标准的独立性存在着许多亟需关注的性质，本文重点评估了影像模型，阐明对于高维数据当前最常用的三个标准，即平均对数似然、Parzen 窗口估计和样本视觉保真度，这些几乎是相互独立的；因此，好的表现不一定意味着好的其他标准的表现，在评估生成模型的性能时需要针对其预期应用直接进行评估，并且通常应避免使用 Parzen 窗口方法。

Nov, 2015