提出一种深度神经网络模型,通过反向传播同时最小化有监督和无监督代价函数的和,避免了逐层预训练的需要,结合 Ladder 网络和监督学习,实现半监督 MNIST 和 CIFAR-10 分类以及具有置换不变性的 MNIST 分类等诸多性能的最新结果。
Jul, 2015
本文提出了一种基于递归的 Ladder 神经网络扩展,以此解决层次潜在变量模型中需要的推理问题,并证明该架构能够处理包括迭代推理和时间建模在内的各种复杂学习任务,涵盖视频数据的时间建模和提高基于高阶抽象的感知聚类等问题。作者在完全监督、半监督和非监督任务方面都取得了不错的结果,这表明所提出的架构和原则是学习抽象层次结构、学习迭代推理和处理时间信息的强有力工具。
Jul, 2017
提出了一种支持深度无监督学习的网络,使用编码器到解码器的侧向快捷连接来支持层次结构,并通过去噪自编码器和去噪源分离框架进行学习,以学习不变特征。
Nov, 2014
本文提出了一种新的推断模型 ——“阶梯式变分自动编码器”,并利用逐步添加的近似似然校正生成分布,在生成模型中实现了更深更分布的隐变量层次结构,提供了前沿的预测性能和更紧的下界。
Feb, 2016
基于分布平滑的半监督深度学习方法和梯度升级生成虚拟对抗训练方法被提出用于降低数据标签的高成本,两种方法被成功整合实现了接近监督准确度。
Nov, 2017
本研究提出了一种基于深度去噪自编码器和横向连接的无监督辅助学习模型,通过反向传播同时最小化监督和无监督成本函数的总和,避免了逐层预训练,显著提高了排列不变 MNIST 分类任务的效果。
Apr, 2015
本研究通过在神经网络中添加重构的解码路径,探究了联合监督和无监督学习的应用,通过多种自编码器的比较,提高了在计算机视觉中的监督学习表现和 ImageNet ILSVRC 2012 协议下的准确率。
Jun, 2016
本文介绍了一种新模型:HybridNet,它是一种双分支编码器 - 解码器架构,利用未标记的图像数据改善图像分类器的泛化性能。它在各种半监督设置中优于现有技术,并提出一种新的训练目标。
Jul, 2018
该研究构建了自定义正则化函数用于深度神经网络的监督训练,利用自动编码器得到正则化器,实现分段模型标签的训练,并在语义分割中展示了正则化策略对提高准确率的实验结果。
Apr, 2018
研究表明,编码器和解码器之间的适当侧向连接可以使去噪自编码器(dAE)的更高层专注于不变表示。添加被允许调制侧向连接的不变特征可以将抽象不变特征翻译为详细的重构,并支持形成不同的不变池。通过在真实世界图像上进行实验,发现添加调制的侧向连接到模型中可以提高模型对输入的概率模型准确性,产生的表示不变度在更高层次上增加得更快,并支持形成多样的不变池塘。
Dec, 2014