带结构推理网络的变分消息传递
提出了一种将概率图模型和深度学习相结合的模型框架,通过将神经网络用于观测模型,提高了潜在变量的图形结构;针对推断,使用了可视化的自编码器,利用识别网络输出共轭潜力的图形模型近似分布;所有的这些模型组件都是同时学习的,从而得到了一种可扩展的算法,利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。
Mar, 2016
本文提出了一个框架,利用结构化图形模型在变分自动编码器(VAEs)的编码器中导出可解释的表达,使得在给定图形模型的结构限制下执行推理,并使用深度生成模型处理高维度的杂乱领域变得更容易。同时在无监督和半监督的情况下,通过变分目标进行端对端的学习。
Nov, 2016
本研究介绍了一种利用学习启发式逼近随机反演的方法来摊销有向图模型中的推理,它专门设计用作顺序蒙特卡罗方法中的提议分布。我们描述了一种构建和学习结构神经网络的方法,该网络表示图形模型的逆因子分解,从而得到一个有条件密度估计器,该估计器以所观察到的随机变量的特定值作为输入,并返回潜变量的分布的近似值。可以在离线、独立于任何特定数据集、在执行推理之前学习这个识别模型。这些网络的输出可以用作自动学习的高质量提议分布,以加速在各种问题设置中进行顺序蒙特卡罗。
Feb, 2016
通过将图形模型与深度学习架构组合,我们学习具有两种框架优势的生成模型。我们提出了学习 SVAE 的新算法,并首次证明了 SVAE 处理丢失数据时处理多模态的能力。这些优化创新使 SVAE 能够通过梯度下降法进行学习。
Jun, 2023
本研究提出了一种统一算法,以高效学习一类广泛的线性和非线性状态空间模型为主,包括由深度神经网络建模的发射和转移分布,使用结构化变分逼近参数化的循环神经网络来模拟后验分布,同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集,本算法展现了其可扩展性和通用性,并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。
Sep, 2016
本文提出了一种新算法 ML-VAMP,用于多层随机神经网络推理,可配置为计算最大先验或近似最小均方误差估计,具有高维随机极限下的精确预测及可测试最优性条件,提供了一种计算方法,可在大型系统极限下进行多层推理并实现最小均方误差预测。
Nov, 2019