辅助深度生成模型

Feb, 2016

Auxiliary Deep Generative Models

Lars Maaløe, Casper Kaae Sønderby, Søren Kaae Sønderby, Ole Winther

TL;DR通过引入辅助变量（auxiliary variables），我们扩展了深度生成模型，用于提高变分近似方法，这让变分分布更有表现力，具有更快的收敛速度和更好的结果，从而实现了半监督学习的最先进性能，适用于 MNIST、SVHN 和 NORB 数据集。

Abstract

deep generative models parameterized by neural networks have recently achieved state-of-the-art performance in unsupervised and semi-supervised learning. We extend →

deep generative models neural networks semi-supervised learning variational approximation stochastic layers

发现论文，激发创造

从生成模型学习分层特征

本文证明已有的变分方法无法很好地训练分层潜变量模型，并且提出了一种不依赖先前知识、能够在多个自然图像数据集上学习高度可解释和分解分层特征的替代架构。

Feb, 2017

辅助导向自回归变分自动编码器

本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

Nov, 2017

深度、分层生成模型的架构设计

本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。

Dec, 2016

辅助形式下基于快速梯度的连续潜变量模型推断

通过表达隐变量的辅助形式，增加贝叶斯网络中多层连续隐变量梯度推断和学习的效率，提高混合蒙特卡罗和梯度优化的速度。

Jun, 2013

使用辅助变量的 PixelCNN 模型进行自然图像建模

本论文探讨自然图像的概率模型，并通过引入辅助变量扩展了 PixelCNN 架构家族的自回归模型，提出了两个新的基于不同图像转换的生成式图像模型，包括图像的分辨率金字塔。该模型解决了现有 PixelCNN 模型的两个已知缺点，并表明其产生的图片样本更加真实。

Dec, 2016

深度生成模型的半监督学习

利用迭代方法的变分技术，基于生成模型，研发半监督学习的新算法，解决现代数据分析中处理大规模非标记数据集挑战。深度生成模型与贝叶斯推理结合，灵活、高效、可拓展，为半监督学习提供了有力支持。

Jun, 2014

变分自编码深度高斯过程

通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

Nov, 2015

用于数据高效文本分类的潜变量生成模型

通过向生成式文本分类器引入离散潜变量，并探究几种图模型配置，我们提高了它的性能，尤其在小数据集下，同时分析了模型的可解释性。

Oct, 2019

带有深度生成模型的贝叶斯半监督学习

这篇研究提出了使用带有随机输入的判别组件来增加噪声灵活性，实现模型的半监督贝叶斯主动学习，并且通过全贝叶斯判别组件实现参数值不确定性的估计。

Jun, 2017

贝叶斯生成对抗网络

本研究提出了基于贝叶斯公式的 GAN 模型，通过使用随机梯度哈密顿蒙特卡罗方法边缘化生成器和鉴别器网络的权重，在不需要特征匹配或使用小批量区分等标准干预的情况下，实现半监督和无监督的学习效果，避免了模式崩塌的问题，并在多个基准数据集上取得了最佳性能。

May, 2017