May, 2016

神经自回归分布估计

PDF
TL;DR本研究提出了使用神经网络模型通过权值共享和概率乘积规则实现无监督分布和密度估计的新方法，并探讨了如何构建深度神经网络在建模二进制和实值观察方面具有竞争力的性能以及如何利用深度卷积神经网络来处理图片中的拓扑结构。
neural autoregressive distribution estimationdensity estimationrestricted boltzmann machinesgeneralization performancedeep convolutional architecture
发现论文，激发创造
  • 迭代神经自回归分布估计器 (NADE-k)

    该论文提出了一种新的无监督深度学习模型 NADE-k，该模型结合了 NADE 和多预测训练的优点，可用于密度估计。其测试似然可以进行解析计算，而且易于生成独立样本，并使用 Boltzmann 机器的变分推断。在两个测试数据集上，NADE-k 的表现与现有最先进技术相当。

    Jun, 2014

  • 一种深度可计算密度估计器

    本文介绍一种新的方法，即同时为每个变量的可能排序训练 NADE 模型，共享跨所有模型的参数。这种方法既可以为不同推理任务使用最方便的模型，又可以马上使用具有不同排序的模型集成。此外，我们的训练方法可以扩展到深度模型，实验证明深度 NADE 模型的集合可以获得最先进的密度估计性能。

    Oct, 2013

  • 文档神经自回归分布估计

    本文提出了一种基于前馈神经网络的方法来学习文本文件的分布，可以用来学习文本数据的深度表示，并结合一个常规神经网络 N-gram 模型来显著提高性能。

    Mar, 2016

  • 关于深度 NADE 与生成随机网络之间的等价性

    本研究提出了一种新的采样过程（退火 GSN 采样），用于从已训练的 Orderless NADE 模型中采样，以便在节省时间的同时保持样品质量，同时该过程建立了 NADE 模型的马尔可夫链并证明了该模型与 GSNS 的训练标准之间的联系

    Sep, 2014

  • RNADE: 基于神经网络的实数值自回归密度估计器

    基于 RNADE（Real-valued Vector Joint Density Estimation）的混合密度网络模型，可实现对真实数向量数据的密度估计并进行直接比较处理，其性能对于异构和感知数据均优于混合模型，且具有易于计算和基于梯度的优化器可用的优点。

    Jun, 2013

  • 协同过滤的神经自回归方法

    本文提出了 CF-NADE 模型，基于 Restricted Boltzmann Machine 和 Neural Autoregressive Distribution Estimator，包括模型改进，参数共用，优化成本等，实验证明在三个数据集上表现均超过当前所有最先进方法。

    May, 2016

  • 自回归能量机

    Autoregressive Energy Machine 是一种高效的基于能量的神经网络模型，具备在无监督学习中广泛使用的灵活性，可以在不受概率密度限制的条件下计算归一化常数，实现在密度估计任务中的最优表现。

    Apr, 2019

  • MADE: 遮蔽自编码器用于分布估计

    本研究提出了一种简单的神经网络自编码器模型，可以遵守自回归约束实现强大的生成模型，其输出结果可以被理解为一组条件概率，可以用于多种架构，包括深度架构，并通过实验证明其与现有的可计算分布估算器的表现相当竞争力，并且测试时速度显著更快，规模更大。

    Feb, 2015

  • DEformer: 无序分布估计 Transformer

    本文介绍了一种可以对序列数据进行 OADE 任务的神经架构，并证明可以在完全无需修改的情况下应用到 OADE 任务中。我们称之为 DEformer，并展示了 DEformer 相对于固定顺序的自回归分布估计算法和流式神经网络在对 MNIST 数据集进行建模时表现更加优异的证据。

    Jun, 2021

  • 多模态数据主题建模的深度和自回归方法

    本研究采用新型主题模型 DocNADE 扩展，提出了 SupDocNADE 模型，并成功将其应用于多模态数据，实现了图像标注和分类的联合表示，并取得了 state-of-the-art 的性能表现。同时，也在深度模型方面进行了探索，表现出更出色的结果。

    Sep, 2014