Dec, 2016

深度、分层生成模型的架构设计

HTML
PDF
TL;DR本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。
发现论文，激发创造
  • 深度生成模型分层学习

    本文提出了一种基于乐观的概率方法进行逐层训练DeepAutoEncoder的过程，可以提高深度架构训练的性能，实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。

    Dec, 2012

  • 基于反向传播训练的深度生成随机网络

    该论文提出了一种新的概率模型训练原则——基于学习马尔可夫链的转移算子，其稳态分布估计数据分布，并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性，该方法也能适用于带有缺失变量的情况，并且不需要分层逐层预训练。

    Jun, 2013

  • 深度自回归网络

    本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

    Oct, 2013

  • 深度生成模型中的随机反向传播和近似推理

    本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。

    Jan, 2014

  • 一种结构化变分自编码器用于学习稀疏特征的深度层次结构

    本研究提出了一种基于深度潜在随机变量的自然图像生成模型，其采用新型分布称为修正高斯，其中采用类似spike-and-slab的稀疏性，保持了有效的随机梯度变分推断的可微性；通过一个结构化后验分布估计函数的近似，提出了一种新型结构化变分近似方法，避免常规均场假设，并保持了生成模型的先验依赖关系，从而实现了具有许多层潜在随机变量的深度模型的联合训练。

    Feb, 2016

  • 从生成模型学习分层特征

    本文证明已有的变分方法无法很好地训练分层潜变量模型, 并且提出了一种不依赖先前知识、能够在多个自然图像数据集上学习高度可解释和分解分层特征的替代架构。

    Feb, 2017

  • 潜在卷积模型

    本文提出了一种基于卷积流形的新型潜在模型用于大规模数据集的自然图像学习，该模型可用于多种图像修复任务，包括大空洞修补、超分辨率和上色等，相比于其他模型，本模型在一定范围内表现更为优异。

    Jun, 2018

  • 变分同编码器：从少量样本中学习高容量生成模型的元学习

    使用Variational Homoencoder（VHE）技术，在Omniglot数据集中建立层次化的PixelCNN，其效果优于所有现有模型，同时在一次性生成和分类任务上实现强大性能。

    Jul, 2018

  • SCHA-VAE: 面向少量样本生成的分层上下文聚合

    本文提出了一种名为SCHA-VAE的全层次聚合变分自编码器方法，将当前的潜变量模型扩展到一种更好地捕获小数据集内固有变化、适合深度生成模型的层级形式，实现了远离分布范围归纳的少样本生成数据的目标。

    Oct, 2021

  • 使用潜在变量蒸馏扩展概率电路

    通过潜变量精炼机制在深度生成模型和Probabilistic Circuits之间建立联系，提高了PCs在大型和高维现实世界数据集上的性能表现，使其在图像建模中达到了与VARIATIONAL AUTOENCODERS和FLOW-BASED MODELS相当的竞争力，为可处理的生成建模开辟了新的途径。

    Oct, 2022