深层有向生成自编码器
本文介绍了一种深度、生成式自编码器,它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法,我们证明了该方法在几个经典数据集上取得了最先进的生成性能。
Oct, 2013
本文介绍了一种名为感知生成自编码器的新型生成模型。该模型通过将生成的和目标分布映射到一个潜空间中,并用具有理论依据的数据和潜空间重构损失同时在数据空间和隐空间中强制同步,从而能够在无限制的神经网络体系结构和任意数量的潜在维度上推广可逆生成模型的思想,并且在样本质量方面显著优于传统自编码器和其他基于自编码器的生成模型。
Jun, 2019
该研究提出了一种使用变分自编码器框架中的反向传播通过离散潜在变量训练带有离散潜变量的概率模型的新方法,能够有效地从无监督数据中学习对象的类别和像素级别的信息,并在 MNIST,Omniglot 和 Caltech-101 Silhouettes 数据集上比其他方法更加先进。
Sep, 2016
本文通过研究基于自编码器的坐标下降方法,证明了只需非常温和的分布性假设,依然可以基于自动学习的 ReLU 等门函数自动挖掘稀疏编码的支撑集,而且在原支撑集附近,正则平方损失的期望梯度的范数绝对值随着稀疏编码维数的增加而渐进地降低。
Aug, 2017
本研究提出了一种基于深度潜在随机变量的自然图像生成模型,其采用新型分布称为修正高斯,其中采用类似 spike-and-slab 的稀疏性,保持了有效的随机梯度变分推断的可微性;通过一个结构化后验分布估计函数的近似,提出了一种新型结构化变分近似方法,避免常规均场假设,并保持了生成模型的先验依赖关系,从而实现了具有许多层潜在随机变量的深度模型的联合训练。
Feb, 2016
提出一种基于正则化的确定性编码器和解码器的生成模型框架,替换 VAEs 中的随机性来达到优化潜在空间的目的,并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。
Mar, 2019
本文理论证明了用 BCE 训练的 DAE 能够在数据空间中向高概率区域梯度下降,进而在实验中通过噪声数据生成和对初始数据的迭代应用 DAE 进行数据向高概率区域的改进。
Aug, 2017