梯度源网络
本研究提出了一种基于深度潜在随机变量的自然图像生成模型,其采用新型分布称为修正高斯,其中采用类似 spike-and-slab 的稀疏性,保持了有效的随机梯度变分推断的可微性;通过一个结构化后验分布估计函数的近似,提出了一种新型结构化变分近似方法,避免常规均场假设,并保持了生成模型的先验依赖关系,从而实现了具有许多层潜在随机变量的深度模型的联合训练。
Feb, 2016
本文介绍了一种深度、生成式自编码器,它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法,我们证明了该方法在几个经典数据集上取得了最先进的生成性能。
Oct, 2013
通过展开变分自动编码器为马尔可夫链并使用启发式方法来训练生成模型,结合强化学习中某些策略搜索的正则化技术,我们在 MNIST 和 TFD 数据集上实验证明了该方法在定量和定性表现上都达到了最先进水平。
Aug, 2017
本文介绍了一种基于深度生成模型的架构,该架构在训练过程中使用多层的潜在变量,并且在所有潜在变量和输出之间包括确定性路径,以及提供了一组更丰富的连接,这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明,我们的方法在标准图像建模基准测试中达到了最先进的性能,并且在没有标签信息的情况下可以暴露潜在的类结构,同时可以提供自然图像中被遮挡区域的令人信服的估计。
Dec, 2016
本文提出了一种基于乐观的概率方法进行逐层训练 DeepAutoEncoder 的过程,可以提高深度架构训练的性能,实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。
Dec, 2012
本文探讨了利用深度神经网络对概率模型进行参数化的变分推断方法在语言建模上出现的后验坍塌问题,介绍了多种解决方案和模型扩展,并通过贝叶斯优化系统性比较了这些方法的效果和差异,同时提供了一些实践建议。
Apr, 2019
通过与一个识别模型相结合,我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下,我们重新参数化变分后验分布,并推导出一个可处理深度学习任务规模数据集的变分下界公式,证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。
Nov, 2015
该论文研究了无监督学习中生成模型的训练方法,提出了一种在对抗网络与似然训练之间进行混合训练的方法,其中使用深度可逆变换来解决概率和逆变换之间的冲突,实现了更好的生成样本和更高的似然性评估。
Jan, 2019
本文讨论了生成对抗网络(GANs)中的模式坍塌问题,提出了一种基于度量空间的几何视角来嵌入数据,以解决自动确定潜在空间维度和构造高斯混合模型的方法,进而改进目标函数,通过理论分析支持每个方法步骤,并验证了该方法能够在真实和合成数据上产生分布于大多数模式中的样本,避免不需要的样本,性能优于现有 GAN 变体。
May, 2018