NIPSNov, 2017

无向图模型中的神经变分推断和学习

PDF
TL;DR本文提出了针对无向模型的黑盒学习和推理算法，通过使用变分逼近模型 log-likelihood 的上界优化算法，其中重要的是由灵活神经网络表达的 log-partition 参数化函数上界。我们的算法可加速采样，训练广泛类别的混合有向 / 无向模型，并在多个流行生成建模数据集上验证了其有效性。
发现论文，激发创造
  • 无向图模型作为近似后验分布

    本研究主要探讨了如何使用无向图模型来训练近似后验概率，在离散的 VAE 中使用 Boltzmann machines 作为近似后验概率的效果优于之前使用有向图模型的结果。

    Jan, 2019

  • 信念网络中的神经变分推断和学习

    我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

    Jan, 2014

  • 使用神经网络组合图模型以获取结构化表示和快速推断

    提出了一种将概率图模型和深度学习相结合的模型框架，通过将神经网络用于观测模型，提高了潜在变量的图形结构；针对推断，使用了可视化的自编码器，利用识别网络输出共轭潜力的图形模型近似分布；所有的这些模型组件都是同时学习的，从而得到了一种可扩展的算法，利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。

    Mar, 2016

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 神经变分推理用于知识图嵌入的不确定性估计

    该论文介绍了一种高度可扩展的概率框架，利用神经变分推理构建条件推理网络，针对知识图谱中实体和关系类型的符号表示提供变分分布。通过该框架构建了两个模型，即 Latent Information 和 Latent Fact 模型，这些模型在特定条件下改进了基线性能。

    Jun, 2019

  • 用于图形模型中的顺序蒙特卡罗推理网络

    本研究介绍了一种利用学习启发式逼近随机反演的方法来摊销有向图模型中的推理，它专门设计用作顺序蒙特卡罗方法中的提议分布。我们描述了一种构建和学习结构神经网络的方法，该网络表示图形模型的逆因子分解，从而得到一个有条件密度估计器，该估计器以所观察到的随机变量的特定值作为输入，并返回潜变量的分布的近似值。可以在离线、独立于任何特定数据集、在执行推理之前学习这个识别模型。这些网络的输出可以用作自动学习的高质量提议分布，以加速在各种问题设置中进行顺序蒙特卡罗。

    Feb, 2016

  • 文本处理的神经变分推断

    通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

    Nov, 2015

  • 神经变分推断下的离散隐变量主题挖掘

    这篇论文介绍了神经方法在主题建模中的应用，特别是提供可参数化分布以允许可变参数下的后向传播，同时提出了一种递归网络，能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题，在 MXM Song Lyrics，20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。

    Jun, 2017

  • 变分因果网络：对因果结构进行近似贝叶斯推断

    本文提出了对基于结构性因果模型的图形变分推断的形式，通过参数化变分模型来模拟分布，并在参数数量与变量数量的指数无关的情况下进行可处理的训练。

    Jun, 2021

  • 带结构推理网络的变分消息传递

    通过结构化推理网络和变分信息传递算法，提出了一种针对深层结构模型的高效变分推理方法，实现了结构化、平凡化和自然梯度推理的同时简化了现有方法。

    Mar, 2018