GSNs:生成随机网络
该论文提出了一种新的概率模型训练原则——基于学习马尔可夫链的转移算子,其稳态分布估计数据分布,并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性,该方法也能适用于带有缺失变量的情况,并且不需要分层逐层预训练。
Jun, 2013
本文介绍了一种深度、生成式自编码器,它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法,我们证明了该方法在几个经典数据集上取得了最先进的生成性能。
Oct, 2013
本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型,并引入了用于表示近似后验分布的识别模型,并利用随机反向传播来开发算法,实现生成和识别模型参数的联合优化,最终将模型应用于实际数据集,生成更真实的分布、准确地恢复缺失数据,并在高维数据的可视化上发挥了重要作用。
Jan, 2014
本研究提出了一种新的采样过程(退火 GSN 采样),用于从已训练的Orderless NADE模型中采样,以便在节省时间的同时保持样品质量,同时该过程建立了NADE模型的马尔可夫链并证明了该模型与 GSNS 的训练标准之间的联系
Sep, 2014
本文介绍了倍增随机梯度MCMC这一简单通用的方法,用于在折叠的连续参数空间中对深度生成模型进行(近似)贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务,还可以用于缺失数据的填充,且在性能方面优于许多现有的竞争对手。
Jun, 2015
本篇文章介绍了基于概率生成对抗网络 (PGAN) 的新型 GAN 变体, 它将概率模型 (在本例中是高斯混合模型) 整合到GAN框架中,从而支持一种新的损失函数,并提供一种有意义的衡量网络生成输出质量的方法,实验证明 MNIST 数据集的 PGAN 能够生成逼真的图像并计算出与生成图像质量相关的似然度,同时 PGAN 在处理 GAN 训练过程中通常存在的稳定性问题方面具有更好的性能。
Aug, 2017
本文的研究旨在深度神经网络的生成式学习问题上提出一种中间方法,通过前向计算得出一个简化版的贝叶斯概率多层模型,并且运用转置的方法使得识别和生成网络更加符合数据的联合概率模型。通过实验发现,这种联合对组的生成对模型足够强大,可以很好地进行识别和生成任务。
Sep, 2017
本文介绍和研究了一类概率生成模型,其中潜在对象是有限时间间隔上的有限维扩散过程,观察变量是在扩散的终端点条件下绘制的。 通过随机控制的视角,我们为这种生成模型的采样和变分推断提供了统一的观点,并量化了基于扩散的生成模型的表现力。我们最后提出并分析了一个无偏模拟的方案,并提供了结果估计值的方差上限。这个方案可以实现为深度生成模型并具有随机层数。
Mar, 2019
本文提出了一种基于能量的生成流网络 (EB-GFN) 概率建模算法,该算法通过随机构造数据策略来建模生成过程,并将昂贵的 MCMC 探索在从 GFlowNet 中采样的固定数量的操作中分摊开来。我们展示了 GFlowNet 如何近似执行大块 Gibbs 采样以在多个模式之间混合。我们提出了一个框架,共同训练 GFlowNet 与能量函数,使 GFlowNet 学习从能量分布中采样,而能量则通过从 GFlowNet 中获得负样本的近似 MLE 目标进行学习。我们展示了 EB-GFN 在各种概率建模任务中的有效性。
Feb, 2022