ICMLFeb, 2016

用于图形模型中的顺序蒙特卡罗推理网络

PDF
TL;DR本研究介绍了一种利用学习启发式逼近随机反演的方法来摊销有向图模型中的推理，它专门设计用作顺序蒙特卡罗方法中的提议分布。我们描述了一种构建和学习结构神经网络的方法，该网络表示图形模型的逆因子分解，从而得到一个有条件密度估计器，该估计器以所观察到的随机变量的特定值作为输入，并返回潜变量的分布的近似值。可以在离线、独立于任何特定数据集、在执行推理之前学习这个识别模型。这些网络的输出可以用作自动学习的高质量提议分布，以加速在各种问题设置中进行顺序蒙特卡罗。
发现论文，激发创造
  • 图形模型的顺序蒙特卡罗方法

    通过提出一种新的框架，使用顺序蒙特卡罗方法对概率图模型进行推断，其目的是通过针对辅助分布来逼近概率图模型定义的全联合分布，并用于构建一般 PGM 的高维块采样算法。

    Feb, 2014

  • 使用神经网络组合图模型以获取结构化表示和快速推断

    提出了一种将概率图模型和深度学习相结合的模型框架，通过将神经网络用于观测模型，提高了潜在变量的图形结构；针对推断，使用了可视化的自编码器，利用识别网络输出共轭潜力的图形模型近似分布；所有的这些模型组件都是同时学习的，从而得到了一种可扩展的算法，利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。

    Mar, 2016

  • 信念网络上一般概率推断的模拟方法

    本文研究一种基于 Monte Carlo 采样的 “前向” 算法家族，用于解决在信念网络上计算概率推理的问题，并提出了几种改进策略以降低后验方差。

    Mar, 2013

  • 带结构推理网络的变分消息传递

    通过结构化推理网络和变分信息传递算法，提出了一种针对深层结构模型的高效变分推理方法，实现了结构化、平凡化和自然梯度推理的同时简化了现有方法。

    Mar, 2018

  • 非线性状态空间模型的结构化推理网络

    本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

    Sep, 2016

  • 信念网络中的神经变分推断和学习

    我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

    Jan, 2014

  • 基于图神经网络的概率图模型推理

    使用图神经网络作为一种有利于推断任务的推送算法，对于在循环密集的概率有向图上显著优于置信传播算法

    Mar, 2018

  • 通过逆协方差估计进行高维度线性因果网络学习

    本论文提出了一种新的基于统计估计的带有两个部分的框架，通过使用 moralized 图在 DAGs 中选择最佳得分的图。

    Nov, 2013

  • 无向图模型中的神经变分推断和学习

    本文提出了针对无向模型的黑盒学习和推理算法，通过使用变分逼近模型 log-likelihood 的上界优化算法，其中重要的是由灵活神经网络表达的 log-partition 参数化函数上界。我们的算法可加速采样，训练广泛类别的混合有向 / 无向模型，并在多个流行生成建模数据集上验证了其有效性。

    Nov, 2017

  • 生成模型中用于摊销推理的通用边际化器

    本文研究了在因果生成模型中进行推断的问题，通过从图形模型中提取样本，结合适当的屏蔽函数，可以训练单个神经网络来近似所有相应的条件边缘分布，从而摊销推断成本，并通过图的链式分解来从近似联合后验中生成样本。

    Nov, 2017