使用神经网络组合图模型以获取结构化表示和快速推断

Mar, 2016

使用神经网络组合图模型以获取结构化表示和快速推断

Composing graphical models with neural networks for structured representations and fast inference

Matthew J. Johnson, David Duvenaud, Alexander B. Wiltschko, Sandeep R. Datta, Ryan P. Adams

TL;DR提出了一种将概率图模型和深度学习相结合的模型框架，通过将神经网络用于观测模型，提高了潜在变量的图形结构；针对推断，使用了可视化的自编码器，利用识别网络输出共轭潜力的图形模型近似分布；所有的这些模型组件都是同时学习的，从而得到了一种可扩展的算法，利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。

Abstract

We propose a general modeling and inference framework that composes probabilistic graphical models with deep learning methods and combines their respective strengths. Our model family augments graphical structure

probabilistic graphical models deep learning latent variables variational autoencoders stochastic variational inference

发现论文，激发创造

图形生成对抗网络

提出了一种名为 Graphical Generative Adversarial Networks（Graphical-GAN）的模型，结合了贝叶斯网络和生成性对抗网络的能力来建模结构化数据。引入了一个结构化的识别模型来推断给定观测值的潜在变量的后验分布，并将期望传播（EP）算法广义化，以同时学习生成模型和识别模型。最后，提出了两个 Graphical-GAN 的重要实例，即高斯混合 GAN（GMGAN）和状态空间 GAN（SSGAN），可分别成功学习视觉数据集的离散和时间结构。

Apr, 2018

神经图模型

本研究介绍了神经图模型，该模型采用神经网络作为多任务学习框架，通过表示节点之间的依赖结构及其复杂的函数表示来捕获特征之间的完整的复杂依赖关系，并提供 NGMs 的有效学习、推理和采样算法。NGMs 可以适应包括有向、无向和混合边缘图在内的通用图结构，可以处理混合输入数据类型。经验研究表明，NGMs 能够代表高斯图模型，并从由 CDC 提供的真实世界婴儿死亡数据中提取见解。

Oct, 2022

带结构推理网络的变分消息传递

通过结构化推理网络和变分信息传递算法，提出了一种针对深层结构模型的高效变分推理方法，实现了结构化、平凡化和自然梯度推理的同时简化了现有方法。

Mar, 2018

使用变分自编码器生成可解释的表示

本文提出了一个框架，利用结构化图形模型在变分自动编码器（VAEs）的编码器中导出可解释的表达，使得在给定图形模型的结构限制下执行推理，并使用深度生成模型处理高维度的杂乱领域变得更容易。同时在无监督和半监督的情况下，通过变分目标进行端对端的学习。

Nov, 2016

结合生成和判别模型的混合推理

提出一个新的混合模型，该模型将图推断与学习逆模型相结合，用于 Kalman 滤波器并通过交叉验证来平衡图推断和学习推断的工作量，实验表明，该模型可以比独立运行的学习或图推断更准确地估计失真的 Lorenz 吸引子的轨迹。

Jun, 2019

结构推理机：循环神经网络用于分析群体活动识别中的关系

本文提出了一种将图形模型和深度神经网络集成到一个联合框架中的方法，在序列推断方面采用递归神经网络的建模，通过对节点之间的边缘施加门来学习推断的适当结构。实证研究表明，这种模型具有处理高度结构化学习任务的潜力，再现了在群体活动识别问题的表现。

Nov, 2015

用于图形模型中的顺序蒙特卡罗推理网络

本研究介绍了一种利用学习启发式逼近随机反演的方法来摊销有向图模型中的推理，它专门设计用作顺序蒙特卡罗方法中的提议分布。我们描述了一种构建和学习结构神经网络的方法，该网络表示图形模型的逆因子分解，从而得到一个有条件密度估计器，该估计器以所观察到的随机变量的特定值作为输入，并返回潜变量的分布的近似值。可以在离线、独立于任何特定数据集、在执行推理之前学习这个识别模型。这些网络的输出可以用作自动学习的高质量提议分布，以加速在各种问题设置中进行顺序蒙特卡罗。

Feb, 2016

无向图模型中的神经变分推断和学习

本文提出了针对无向模型的黑盒学习和推理算法，通过使用变分逼近模型 log-likelihood 的上界优化算法，其中重要的是由灵活神经网络表达的 log-partition 参数化函数上界。我们的算法可加速采样，训练广泛类别的混合有向 / 无向模型，并在多个流行生成建模数据集上验证了其有效性。

Nov, 2017

深度、分层生成模型的架构设计

本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。

Dec, 2016

学习生成模型的神经编码框架

提出了一种基于预测处理理论的神经生成模型计算框架，通过构建神经元层次结构，预测邻居神经元的工作并根据预测与观测结果的差异更新神经元参数来训练模型，实验结果表明，该模型在多个基准数据集和度量标准上表现出色，并具有与功能类似的其他生成模型相媲美甚至优越的性能。

Dec, 2020