本研究提出了一种基于深度去噪自编码器和横向连接的无监督辅助学习模型,通过反向传播同时最小化监督和无监督成本函数的总和,避免了逐层预训练,显著提高了排列不变 MNIST 分类任务的效果。
Apr, 2015
本文介绍了一种深度、生成式自编码器,它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法,我们证明了该方法在几个经典数据集上取得了最先进的生成性能。
Oct, 2013
自动编码器是无监督学习内部表示的有用框架,本研究将现有的去噪自动编码器扩展到在非线性函数和隐藏单元激活之前注入噪音,提供一种统一的策略来通过设计注入噪声的性质来开发新的内部表示,并表明通过罕见的、去相关、和信息分散的噪声,在深度网络中改善性能。与其他单层技术竞争 MNIST 和 CIFAR-10。
Jun, 2014
本研究提出了一种基于深度潜在随机变量的自然图像生成模型,其采用新型分布称为修正高斯,其中采用类似 spike-and-slab 的稀疏性,保持了有效的随机梯度变分推断的可微性;通过一个结构化后验分布估计函数的近似,提出了一种新型结构化变分近似方法,避免常规均场假设,并保持了生成模型的先验依赖关系,从而实现了具有许多层潜在随机变量的深度模型的联合训练。
Feb, 2016
本文提出了一种基于深度自编码器的无监督子空间聚类新颖深度神经网络架构,其中引入了一种自相似层,以模拟传统子空间聚类方法中的 “自相似” 属性。该方法能够在非线性方式下对具有复杂结构的数据点进行聚类,并且在实验中表现出优于现有方法的性能。
Sep, 2017
本研究提出优化自动编码器的磨损和判别力对数的预训练阶段,以获得更高的聚类准确性和更快的收敛速度。
May, 2018
该研究论文介绍了一种结合去噪和正则化的对抗性自编码器方法,用于学习用于推理的有用表示,并通过实验验证其对于分类性能和样本合成的贡献。
Mar, 2017
本文提出了一种新的推断模型 ——“阶梯式变分自动编码器”,并利用逐步添加的近似似然校正生成分布,在生成模型中实现了更深更分布的隐变量层次结构,提供了前沿的预测性能和更紧的下界。
本文介绍了使用一种单隐层全连接自编码器进行特征提取可以有效地恢复主成分分析 (PCA) 的加载向量,且训练权重与 PCA 加载向量存在差异,从而优化特征提取的性能。
Apr, 2018
研究表明,编码器和解码器之间的适当侧向连接可以使去噪自编码器(dAE)的更高层专注于不变表示。添加被允许调制侧向连接的不变特征可以将抽象不变特征翻译为详细的重构,并支持形成不同的不变池。通过在真实世界图像上进行实验,发现添加调制的侧向连接到模型中可以提高模型对输入的概率模型准确性,产生的表示不变度在更高层次上增加得更快,并支持形成多样的不变池塘。
Dec, 2014