文档神经自回归分布估计
本研究提出了使用神经网络模型通过权值共享和概率乘积规则实现无监督分布和密度估计的新方法,并探讨了如何构建深度神经网络在建模二进制和实值观察方面具有竞争力的性能以及如何利用深度卷积神经网络来处理图片中的拓扑结构。
May, 2016
该论文提出了一种新的无监督深度学习模型 NADE-k,该模型结合了 NADE 和多预测训练的优点,可用于密度估计。其测试似然可以进行解析计算,而且易于生成独立样本,并使用 Boltzmann 机器的变分推断。在两个测试数据集上,NADE-k 的表现与现有最先进技术相当。
Jun, 2014
本文介绍一种新的方法,即同时为每个变量的可能排序训练 NADE 模型,共享跨所有模型的参数。这种方法既可以为不同推理任务使用最方便的模型,又可以马上使用具有不同排序的模型集成。此外,我们的训练方法可以扩展到深度模型,实验证明深度 NADE 模型的集合可以获得最先进的密度估计性能。
Oct, 2013
我们提出了一种新颖的神经自回归主题模型,利用语言建模方式中单词周围的完整上下文信息进行学习,同时将嵌入作为分布式先验知识引入模型,这两个扩展可以处理短文本情况并提高主题模型的一般性、可解释性和适用性。
Sep, 2018
本研究采用新型主题模型 DocNADE 扩展,提出了 SupDocNADE 模型,并成功将其应用于多模态数据,实现了图像标注和分类的联合表示,并取得了 state-of-the-art 的性能表现。同时,也在深度模型方面进行了探索,表现出更出色的结果。
Sep, 2014
本文提出了 CF-NADE 模型,基于 Restricted Boltzmann Machine 和 Neural Autoregressive Distribution Estimator,包括模型改进,参数共用,优化成本等,实验证明在三个数据集上表现均超过当前所有最先进方法。
May, 2016
本研究提出了一种新的采样过程(退火 GSN 采样),用于从已训练的 Orderless NADE 模型中采样,以便在节省时间的同时保持样品质量,同时该过程建立了 NADE 模型的马尔可夫链并证明了该模型与 GSNS 的训练标准之间的联系
Sep, 2014
基于 RNADE(Real-valued Vector Joint Density Estimation)的混合密度网络模型,可实现对真实数向量数据的密度估计并进行直接比较处理,其性能对于异构和感知数据均优于混合模型,且具有易于计算和基于梯度的优化器可用的优点。
Jun, 2013
本研究提出了一种简单的神经网络自编码器模型,可以遵守自回归约束实现强大的生成模型,其输出结果可以被理解为一组条件概率,可以用于多种架构,包括深度架构,并通过实验证明其与现有的可计算分布估算器的表现相当竞争力,并且测试时速度显著更快,规模更大。
Feb, 2015
本文介绍了一种深度、生成式自编码器,它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法,我们证明了该方法在几个经典数据集上取得了最先进的生成性能。
Oct, 2013