深度自回归网络
本文提出了一种基于乐观的概率方法进行逐层训练DeepAutoEncoder的过程,可以提高深度架构训练的性能,实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。
Dec, 2012
本文介绍了具有鉴别性的循环稀疏自编码器模型,通过反向传播算法进行训练,在最小化无监督稀疏重构误差的基础上,增加一个有监督的分类鉴别项,可以实现深度网络的全部性能,并显著减少可训练参数数量。通过对输入原型进行分类抽象,学习出了分层的编码结构,小规模的鉴别性循环稀疏自编码器在MNIST数据集上表现出色。
Jan, 2013
该论文提出了一种新的概率模型训练原则——基于学习马尔可夫链的转移算子,其稳态分布估计数据分布,并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性,该方法也能适用于带有缺失变量的情况,并且不需要分层逐层预训练。
Jun, 2013
本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型,并引入了用于表示近似后验分布的识别模型,并利用随机反向传播来开发算法,实现生成和识别模型参数的联合优化,最终将模型应用于实际数据集,生成更真实的分布、准确地恢复缺失数据,并在高维数据的可视化上发挥了重要作用。
Jan, 2014
本研究提出了一种简单的神经网络自编码器模型,可以遵守自回归约束实现强大的生成模型,其输出结果可以被理解为一组条件概率,可以用于多种架构,包括深度架构,并通过实验证明其与现有的可计算分布估算器的表现相当竞争力,并且测试时速度显著更快,规模更大。
Feb, 2015
本文提出了一种新的推断模型——“阶梯式变分自动编码器”,并利用逐步添加的近似似然校正生成分布,在生成模型中实现了更深更分布的隐变量层次结构,提供了前沿的预测性能和更紧的下界。
Feb, 2016
本文介绍了一种基于深度生成模型的架构,该架构在训练过程中使用多层的潜在变量,并且在所有潜在变量和输出之间包括确定性路径,以及提供了一组更丰富的连接,这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明,我们的方法在标准图像建模基准测试中达到了最先进的性能,并且在没有标签信息的情况下可以暴露潜在的类结构,同时可以提供自然图像中被遮挡区域的令人信服的估计。
Dec, 2016
该研究提出了一种基于缓存隐藏状态避免冗余计算的方法来加速卷积自回归模型的生成,将其应用于Wavenet和PixelCNN++模型可实现高达21倍和183倍的加速。
Apr, 2017
本篇论文提供了一个新的原则,即利用生成模型的层次结构将自编码器与生成对抗网络相结合,以防止学习到的生成模型中的模式崩溃,并使用区分器学习合成可能性和隐式后验分布。
Jun, 2017
本文介绍了一种将因果卷积与自注意力相结合的新型生成模型,将其应用于密度估计任务,并在 CIFAR-10 和 ImageNet 上取得了最先进的结果。
Dec, 2017